arXiv · Machine Learning· Weijia Han, Lisha Qu·· 13 小时前AI 评分33
World Machine 的 State Discovery 两项复现：检查点重载解释了大部分测得的状态差距
Checkpoint Reload Explains Most of the Measured State Gap in Two State Discovery Reproductions
AI 导读
对 World Machine 的 State Discovery 两项复现分析发现，使用写入状态表的末轮权重进行 rollout，可消除大部分测得的状态差距。Toy1D 两组配对检查点实验中，解码状态 MSE 比已发表值高 27% 至 36%；匹配写表权重后，平均逐维 Wasserstein-1 距离减少 90% 至 91%。因果蒸馏和冻结 SD 更新在两种检查点下均未达到预设标准。
来源：arXiv · Machine Learning · arxiv.org