arXiv · Machine Learning· Druv Pai, Dejan Stancevic, Yi Ma, Luca Ambrogioni·· 13 小时前AI 评分52
生成式扩散模型训练的信息论缩放规律
Information-Theoretic Scaling Laws for Generative Diffusion Training
AI 导读
该论文研究生成式扩散模型中 model information 随模型规模和训练数据规模变化的规律，发现了从纯记忆到不完美泛化的非线性阶段，以及模型信息线性增长、泛化和样本质量逐步改善的阶段。作者据此提出信息论缩放规律，并展示其可推导的记忆化与样本质量缩放规律能够较好地外推到拟合范围之外。论文代码已在 GitHub 公开。
来源：arXiv · Machine Learning · arxiv.org