跳到正文
vLLM 官方博客· noreply@aihot.news (vLLM 官方博客)·· 1 天前精选

vLLM 实现 Reflection Beam 501B MoE 模型 Day 0 支持

AI 导读

vLLM 宣布从 Day 0 支持 Reflection 的 Beam 模型,这是一个 501B 参数、每 token 激活 23B 的 MoE 模型,在 NVIDIA Blackwell 上完成优化。

推荐理由

来源于 AI Hot 精选订阅

来源:vLLM 官方博客 · vllm.ai