知乎专栏：量子位· 量子位·· 1 天前精选AI 评分77
EdgeRock-4B 开源，KV Cache 减少 99.1%
内存还会跌吗？KV Cache砍掉99%，单卡吞吐飙6倍，港科大、CMU联手岩山科技开源新模型
AI 导读
岩山科技旗下岩芯矩阵联合港科大、CMU等高校发布并开源 EdgeRock-4B，主打固定内存的长推理。256K上下文下其历史状态固定为72MiB，单张80GB Hopper GPU可并发512路推理，输出吞吐达到12124 tokens/s，是源模型的6.42倍。其AIME 2024—2026平均一次通过率为82.9%，同时支持文本和图像推理，模型权重与推理代码已开源。
推荐理由
文章用固定状态、并发吞吐和长上下文速度对比，具体呈现了 EdgeRock-4B 降低 KV Cache 内存开销的工程价值。
来源：知乎专栏：量子位 · zhuanlan.zhihu.com