arXiv · Machine Learning· Wenwen Hou, Xinyuan Song, Wenqian Weng, Shiwei Liu·· 9 小时前AI 评分37
ActTail：大语言模型中的全局激活稀疏性
ActTail: Global Activation Sparsity in Large Language Models
AI 导读
ActTail提出基于TopK幅值和HT-SR理论的全局激活稀疏分配方法，依据各投影经验谱密度（ESD）的重尾指数分配预算。在LLaMA和Mistral模型的80%稀疏率下，LLaMA-2-7B、LLaMA-2-13B和Mistral-7B的困惑度分别降低21.8%、40.1%和9.4%，下游任务表现也优于均匀分配。
来源：arXiv · Machine Learning · arxiv.org