arXiv · Machine Learning· Ruishan Guo, Yibing Liu, Guoxin Ma, Yan Wang, Yueyang Zhang, Long Xia, Kecheng Chen, Zhiyuan Sun, Daiting Shi·· 8 小时前AI 评分64
When Less is More：LLM 上下文压缩中的规模悖论
When Less is More: The LLM Scaling Paradox in Context Compression
AI 导读
Ruishan Guo 等人的研究发现，在有损上下文压缩的压缩器-解码器架构中，增大压缩器规模反而可能降低重建内容的事实保真度，尽管重建误差有所下降。
来源：arXiv · Machine Learning · arxiv.org