OpenESM：能量引导模型具备可扩展的基础学习能力

OpenESM提出能量引导模型（ESM），将能量引导与 token 生成整合进单一架构，用于基础语言建模。研究在三个大规模语料上预训练，并评估26项下游任务；ESM随模型规模和训练数据增加呈现良好扩展性，且在多数任务上优于GPT。模型权重和训练基础设施已完整开放。