arXiv · Machine Learning· Ahmed Nebli·2026-10-09 12:00· 2 天前AI 评分67

Phase-HDC 用梯度阈值替代离散相位学习中的优化器历史

Phase-HDC: Replacing Optimizer History with Gradient Thresholds in Discrete Phase Learning

AI 导读

Phase-HDC 为低比特角度参数的超维分类器提出无优化器历史的训练规则，仅在梯度超过阈值时按梯度符号移动一个离散步长。在 11 个图像、表格和文本数据集上，该方法相较 float32 Adam 少存储 16–23 倍，相较 8-bit Adam 少存储 4–6 倍；代价是平均准确率低约 5 个百分点。论文指出，这些节省代表逻辑状态，不是实测硬件内存。

来源：arXiv · Machine Learning · arxiv.org

内核与算子优化论文与技术报告 #论文/研究 #模型优化 #性能工程 #arXiv