arXiv · Machine Learning· Xuning He, Kai Fan, Runyu Zhang, Binghuan Wang, Yuxiang Zhang, Xue Jiang, Yihong Dong·· 8 小时前AI 评分50
ASTC:面向长周期 LLM 智能体的模型内上下文压缩与智能软 Token
In-Model Context Compression with Agentic Soft Tokens for Long-Horizon LLM Agents
AI 导读
ASTC(Agentic Soft-Token Compression)是一种免训练的模型内上下文压缩方法,利用 LLM 的 GDN-attention 循环动态识别已吸收信息,并以智能软 Token 延续上下文,同时保留精确值作为硬 Token。
来源:arXiv · Machine Learning · arxiv.org