Microsoft 发布多芯粒 Maia 300 推理加速器

Microsoft 发布面向推理的多芯粒 Maia 300 加速器，称其每兆瓦可处理的 token 数比领先的 GPU 系统多 40%。Maia 300 配备四个采用台积电 2 纳米制程的计算芯粒和总容量 288 GB 的 HBM4，采用数据流架构以减少数据移动。Microsoft 计划明年开始将其部署到生产环境，并预计配备 96 个加速器的机架吞吐量约为 Maia 200 系统的七倍。