ActTail论文更新至v2并报告实验结果
热点事件持续更新
ActTail论文更新至v2并报告实验结果
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
Wenwen Hou等人提交了ActTail论文v2，提出根据各投影经验谱密度的重尾指数分配全局激活稀疏预算。论文报告，在80%稀疏率下，LLaMA-2-7B、LLaMA-2-13B和Mistral-7B的困惑度分别降低21.8%、40.1%和9.4%，下游任务表现也优于均匀分配。
AI 根据报道生成 · 1 小时前更新
最新进展10月28日 12:00
ActTail：大语言模型中的全局激活稀疏性报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv · Machine LearningActTail：大语言模型中的全局激活稀疏性
ActTail提出基于TopK幅值和HT-SR理论的全局激活稀疏分配方法，依据各投影经验谱密度（ESD）的重尾指数分配预算。在LLaMA和Mistral模型的80%稀疏率下，LLaMA-2-7B、LLaMA-2-13B和Mistral-7B的困惑度分别降低21.8%、40.1%和9.4%，下游任务表现也优于均匀分配。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。