跳到正文
热点事件持续更新

vLLM v0.32.0 发布并收紧默认安全设置

1 篇报道1 个报道来源5 小时前更新

先了解这件事

AI 综述

vLLM 发布 v0.32.0,更新推理运行时、增加 Model Runner V2 和低精度 KV cache,并将默认 CORS 来源从允许所有来源改为不允许,浏览器客户端需设置 --allowed-origins。项目称,该版本还扩展了模型支持并优化服务性能,短请求在多 API worker 场景下吞吐提升 43%–85%。 该版本不再支持 Python 3.10,最低要求 Python 3.11;同时要求 transformers≥5.16.1 和 tokenizers≥0.23.2。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月18日
  1. GitHub · vllm-project/vllm Releases精选
    vLLM v0.32.0 发布,更新推理运行时并收紧安全默认值

    vLLM 发布 v0.32.0,加入 Model Runner V2、低精度 KV cache、更多模型支持和多项服务性能优化。该版本包含 814 commits,短请求在多 API worker 场景下吞吐提升 43-85%,并修复多项安全问题。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。