研究指出 Softmax 与交叉熵存在数值缺陷

Google DeepMind 研究团队提交论文，称包括 PyTorch、JAX 和 TensorFlow 在内的主流深度学习框架，其 Softmax 与交叉熵标准实现存在两类数值精度缺陷，并提出修复方法；这些缺陷可能使梯度计算偏离数学约束。 论文称，问题与 Logit Margin 有关：在 bf16、fp32 和 fp64 下，相关阈值分别约为 5.5、16.6 和 36.7。论文已于 10 月 22 日提交至 arXiv，作者包括 Jonathan T. Barron、Dan Gnanapragasam 和 Michael Tschannen。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。