arXiv · Machine Learning· Marc Serra Ortega, Andrey Barsky, Carlos Boned Riera, Tom\'as Ockier, Dimosthenis Karatzas·· 13 小时前AI 评分46
Boa Compressor：基于状态空间编码的线性时间上下文压缩
Linear-Time Context Compression with State-Space Encoding
AI 导读
Boa Compressor 是基于 Mamba 状态空间模型（SSM）的在线上下文压缩器，以单次线性时间扫描编码任意长度上下文，并将压缩表示用于冻结的目标 LLM。在相同压缩比下，其表现达到或超过现有最先进的离线压缩基线，速度比基于 Transformer 的实现快一个数量级，从而降低端到端延迟。它可扩展至更长上下文及 16x 压缩比，支持在每次推理查询时执行压缩。
来源：arXiv · Machine Learning · arxiv.org