arXiv · Machine Learning· Zhongkai Yu, Haotian Ye, Chenyang Zhou, Ohm Rishabh Venkatachalam, Zaifeng Pan, Zhengding Hu, Junsung Kim, Won Woo Ro, Po-An Tsai, Shuyi Pei, Yangwook Kang, Yufei Ding·· 8 小时前AI 评分60
AMMA：面向 1M Context 低延迟 Attention 服务的多芯粒存储中心架构
AMMA: A Multi-Chiplet Memory-Centric Architecture for Low-Latency 1M Context Attention Serving
AI 导读
AMMA 提出一种面向百万 Token 长上下文 Attention 服务的多芯粒存储中心架构，以 HBM-PNM cubes 替代 GPU 计算芯粒，针对解码阶段的内存受限型 Attention 提升可用内存带宽。
来源：arXiv · Machine Learning · arxiv.org