SparseGDN 提出面向硬件的 GDN 稀疏优化框架

Jiedong Zhuang 等作者提出 SparseGDN，一种面向硬件优化的 Gated Delta Networks（GDN）稀疏计算框架，旨在降低长上下文预填充阶段的计算量和内存开销，同时为每个 token 生成输出。框架结合结构化块内近似与输入相关的循环事件选择，减少需要执行的循环计算。 作者在 Qwen3.5-4B 和 Qwen3.5-9B 模型上，使用 4K 至 128K 上下文长度进行 RULER 任务评估。实验中，SparseGDN 平均保留约 29% 的循环事件；计入在线选择开销后，其 GDN 核心预填充速度仍达到原生 FLA 内核的 1.50 至 1.94 倍。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。