跳到正文
知乎专栏:量子位· 量子位·· 4 小时前精选AI 评分80

文心Unlimited OCR 2开源发布,百页级测试将KV缓存占用降低约96%

KV Cache被压成常数!OCR开源新王:页数没上限,缓存砍96%

AI 导读

百度发布并开源文心Unlimited OCR 2,支持连续识别超长文档,并将百页级单序列测试的峰值KV缓存从47GB降至1.77GB。该版本引入稀疏参考滑动窗口注意力机制SR-SWA,通过Page Gate筛选相关页面,再由Token Sieve选择相关视觉信息块,以减少重复计算。

推荐理由

原文给出了百页级测试中的缓存对比和SR-SWA机制拆解,便于理解超长文档OCR如何降低显存与重复计算开销。

来源:知乎专栏:量子位 · zhuanlan.zhihu.com