知乎专栏:机器之心· 机器之心·· 15 小时前AI 评分67
研究提出 Softmax 与交叉熵数值缺陷的修复方法
PyTorch、JAX都被点名!Softmax曝出隐藏Bug,Gemini立功
AI 导读
Google DeepMind 研究团队在论文《A Fix for Softmax and Cross-Entropy》中指出,主流深度学习框架的 Softmax 和交叉熵实现存在两类数值精度缺陷,可能使梯度计算偏离数学约束。
来源:知乎专栏:机器之心 · zhuanlan.zhihu.com