SiliconANGLE· Paul Gillin·· 13 小时前精选AI 评分77
IBM 支持的 llm-d 框架发布 1.0 版本，新增企业级推理控制能力
IBM-backed llm-d framework adds controls for running AI models in-house
AI 导读
IBM 与其他贡献者发布开源 llm-d 1.0，这是一个面向 Kubernetes 的分布式 AI 推理框架，新增多租户服务质量控制、零停机运行和面向 AI 智能体的服务模式。
推荐理由
原文把 llm-d 1.0 的多租户服务质量、无停机升级和缓存复用放在生产运维场景中，便于评估其对自托管推理成本与稳定性的影响。
来源：SiliconANGLE · siliconangle.com