llm-d 发布 1.0，加入面向 Agent 的会话路由与多租户流控
llm-d 于 10 月 20 日发布 1.0，为 Kubernetes 分布式模型推理加入会话感知路由、多租户流控与高可用升级机制。
2026 年 10 月 20 日，开源分布式推理项目 llm-d 发布 1.0 版本。它在 Kubernetes 上协调 vLLM、SGLang 等模型服务，本次增加面向多轮 Agent 会话的路由、请求优先级与公平流控，并将路由配置 API 升级至稳定的 v1。
新版本还提供路由器高可用和预填充、解码服务的协调滚动升级，帮助部署方在共享推理集群中减少重复计算并管理突发请求。项目已发布 1.0 代码与组件版本；实际延迟和吞吐量会随部署环境变化。