arXiv · Machine Learning· Toru Takahashi·· 9 小时前AI 评分43
共享表示网络中的匹配专门化与不同适应：二阶矩结构
Matched Specialization, Different Adaptation: Second-Moment Structure in Shared Representations
AI 导读
研究发现，小型 Adam 训练的共享表示网络即使选定的均值读出测量相当，对后续学习的适应仍可能不同。双目标实验中，获取阶段形成的检查点有 67.5% 在十次更新内切换更易读出的目标，更新阶段形成的检查点为 0%；交换二阶矩会反转对比变化，交换一阶矩则未超出预设边界。
来源：arXiv · Machine Learning · arxiv.org