Seed发现DeepSeek-V4位置敏感性

字节Seed团队发现，DeepSeek-V4系列模型的代码补全和长上下文检索表现会随目标信息在输入中的位置每隔4个Token周期性波动，说明同一信息的位置可能显著影响结果。 在代码补全测试中，前置填充长度每4个Token重复一次时，错误答案32与正确答案8的概率会明显反转。在128K Token、约1.6万个键值对的“大海捞针”检索测试中，DeepSeek-V4-Flash-Base不同位置的准确率最高相差40.2个百分点。Seed团队将这一现象与分块KV Cache的压缩步长联系起来。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。