跳到正文
arXiv · Machine Learning· Mattia Scardecchia, Sherry Yang·· 13 小时前AI 评分57

视频世界模型需要可预测的潜变量

Video World Models Need Predictable Latents

AI 导读

研究发现,采用时间目标进行表征学习并搭配 past-conditioned decoder,可在相同训练预算下改善生成式视频世界模型,同时保持对未来观测的准确预测。论文报告推理成本最高降低 5 倍、训练速度超过 7 倍,分布外及长时域的像素和感知误差降低 15–24%。使用视觉语言模型根据像素预测判断任务成功时,这些模型对真实世界策略评估的吻合度也更高。

来源:arXiv · Machine Learning · arxiv.org