跳到正文
GitHub · vllm-project/vllm Releases·· 14 小时前精选AI 评分84

vLLM v0.33.0 发布,升级 PyTorch 2.14 并扩展多硬件推理优化

v0.33.0

AI 导读

vLLM 发布 v0.33.0,包含来自 389 位贡献者的 927 次提交,其中 122 位为新贡献者。本次版本升级至 PyTorch 2.14.0、torchvision 0.29.0 和 Triton 3.8.0,CUDA 发布包统一为 CUDA 13.0,并将 ROCm 10.0 设为默认版本。

推荐理由

本次更新集中呈现了多硬件平台的推理优化与服务架构变化,并提供具体负载下的吞吐、延迟和启动性能数据,便于评估升级收益。

来源:GitHub · vllm-project/vllm Releases · github.com