vLLM v0.32.0 发布并收紧默认安全设置
热点事件持续更新
vLLM v0.32.0 发布并收紧默认安全设置
1 篇报道1 个报道来源5 小时前更新
先了解这件事
AI 综述
vLLM 发布 v0.32.0,更新推理运行时、增加 Model Runner V2 和低精度 KV cache,并将默认 CORS 来源从允许所有来源改为不允许,浏览器客户端需设置 --allowed-origins。项目称,该版本还扩展了模型支持并优化服务性能,短请求在多 API worker 场景下吞吐提升 43%–85%。 该版本不再支持 Python 3.10,最低要求 Python 3.11;同时要求 transformers≥5.16.1 和 tokenizers≥0.23.2。
AI 根据报道生成 · 1 小时前更新
最新进展10月18日 14:50
vLLM v0.32.0 发布,更新推理运行时并收紧安全默认值报道时间线
沿着报道,了解事件的不同侧面。
10月18日
- GitHub · vllm-project/vllm Releases精选vLLM v0.32.0 发布,更新推理运行时并收紧安全默认值
vLLM 发布 v0.32.0,加入 Model Runner V2、低精度 KV cache、更多模型支持和多项服务性能优化。该版本包含 814 commits,短请求在多 API worker 场景下吞吐提升 43-85%,并修复多项安全问题。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。