Hugging Face Blog·· 2 天前精选AI 评分76
Reflection 发布 501B 参数开源模型 Beam
Welcome Beam: a 501B open model you can own, customize, and scale
AI 导读
Reflection 发布开源模型 Beam,采用 501B 参数的 MoE 架构,每个 token 激活 23B 参数,支持最长 1M token 的文本上下文,并以 Apache 2.0 许可发布。
推荐理由
文章结合 Beam 的混合注意力设计、KV cache 数据和多种部署配置,呈现了 1M token 上下文下的显存取舍与运行要求。
来源:Hugging Face Blog · huggingface.co