Phase-HDC以梯度阈值替代优化器历史
热点事件观察中
Phase-HDC以梯度阈值替代优化器历史
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
Ahmed Nebli提出 Phase-HDC，用梯度阈值和梯度符号更新低比特角度参数，不再保存优化器历史；在 11 个图像、表格和文本数据集上，相比 float32 Adam 少存储 16–23 倍、相比 8-bit Adam 少存储 4–6 倍，但平均准确率低约 5 个百分点。 该方法只有在梯度超过阈值时才让参数移动一个离散步长。论文称，在其他设置不变时，Phase-HDC 的准确率可达到带 6-bit moments 的 Adam，同时存储量少三倍；其节省指逻辑状态，不等同于已实测的硬件内存。
AI 根据报道生成 · 2 小时前更新
最新进展10月9日 12:00
Phase-HDC 用梯度阈值替代离散相位学习中的优化器历史报道时间线
沿着报道，了解事件的不同侧面。
10月9日
- arXiv · Machine LearningPhase-HDC 用梯度阈值替代离散相位学习中的优化器历史
Phase-HDC 为低比特角度参数的超维分类器提出无优化器历史的训练规则，仅在梯度超过阈值时按梯度符号移动一个离散步长。在 11 个图像、表格和文本数据集上，该方法相较 float32 Adam 少存储 16–23 倍，相较 8-bit Adam 少存储 4–6 倍；代价是平均准确率低约 5 个百分点。论文指出，这些节省代表逻辑状态，不是实测硬件内存。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。