GitHub · vllm-project/vllm Releases·· 14 小时前精选AI 评分84
vLLM v0.33.0 发布,升级 PyTorch 2.14 并扩展多硬件推理优化
v0.33.0
AI 导读
vLLM 发布 v0.33.0,包含来自 389 位贡献者的 927 次提交,其中 122 位为新贡献者。本次版本升级至 PyTorch 2.14.0、torchvision 0.29.0 和 Triton 3.8.0,CUDA 发布包统一为 CUDA 13.0,并将 ROCm 10.0 设为默认版本。
推荐理由
本次更新集中呈现了多硬件平台的推理优化与服务架构变化,并提供具体负载下的吞吐、延迟和启动性能数据,便于评估升级收益。
来源:GitHub · vllm-project/vllm Releases · github.com