研究团队开展 OLMo 2 训练数据成员推断对照实验

Ali Banaei 等研究人员通过受控训练实验，检验文档是否进入 OLMo 2 1B 训练集能否被成员推断方法识别，并发现这种训练暴露效应在官方后训练流程后仍保留。研究团队重跑了 OLMo 2 1B 官方 500 亿 token 中期训练阶段，选取 7,814 对在领域和难度上匹配的文档，每对通过随机抛硬币决定一篇进入训练、另一篇作为未见文档，以相同随机种子的 AI2 官方模型作为反事实对照。 研究还将官方完整后训练流程分别应用于两个模型，结果显示平均训练暴露效应仍保留 89%。团队表示将公开模型检查点、逐 token 对数概率和评估文档，相关代码已提供。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。