Potentials方法降低语言模型期望估计方差

Francesco I. Re、Shubhangi Ghosh、Tim Vieira 和 Ryan Cotterell 提出一种利用采样时可获得的下一词条件概率，降低自回归语言模型测试函数期望估计方差的方法。论文称，该方法通过构造前缀 potentials 提高估计效率。 作者为多个估计目标和应用开发了相应的 potentials，并称在计算成本相近的情况下，这些方法在多个估计目标上实现了显著的方差降低。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。