跳到正文
GitHub · vllm-project/vllm Releases·· 5 小时前精选AI 评分77

vLLM v0.32.0 发布,更新推理运行时并收紧安全默认值

v0.32.0

AI 导读

vLLM 发布 v0.32.0,加入 Model Runner V2、低精度 KV cache、更多模型支持和多项服务性能优化。该版本包含 814 commits,短请求在多 API worker 场景下吞吐提升 43-85%,并修复多项安全问题。

推荐理由

版本同时覆盖 KV cache、并行与模型支持,并列出 Python 3.10、依赖和 CORS 等兼容性变化,可用于评估升级影响。

来源:GitHub · vllm-project/vllm Releases · github.com