字节 Seed 发现 DeepSeek-V4 时强时弱源于分块 KV Cache 压缩
字节 Seed 团队发现 DeepSeek-V4 系列在长上下文检索中会随信息位置出现周期性波动,同一信息换位置后准确率最高相差 40.2 个百分点。研究把原因指向其采用的分块 KV Cache 压缩,并将这种现象命名为相位敏感性,波动周期与压缩步长一致。团队还以 Qwen3-0.6B 架构从头训练多种压缩方案验证,建议评测此类模型时按不同压缩相位分别测试。
题与DeepSeek-V4采用的一项长上下文优化技术有关—— 分块KV Cache压缩 。 这项技术本来是为了让模型处理长文本更省内存、更高效。 结果压缩之后,倒让模型时神时鬼了(doge)。 字节Seed研究人员最开始是拿DeepSeek自己的代码做了个实验。 测试对象是 DeepSeek-V4-Flash-Base 。 他们从DeepSeek-V4的官方推理代码中截取了一段FP8量化函数,让模型补全最后一个Token。 任务的正确答案应该是8,因为这段代码需要完成FP8相关的类型转换。 但模型有时偏偏觉得应该补成32。 为了搞清到底咋回事,研究人员在代码前面加了一段纯装饰性的文档字符串,里面放着一些重复的等号。 然后,他们开始调整等号的数量。 代码本身没改、要补全的位置没改、正确答案当然也没改……唯一的变化,就是前面多了这几个没什么实际意义的Token。 结果,DeepSeek的答案开始反复横跳。 当填充长度落在某些位置时,模型更倾向于回答错误的32。 更具体地说,在论文测试的16种填充长度中,当长度模4的余数为0或1时,模型倾向于错误答案32;余数为2或3时,则倾向于正确答案8。
匹配字段正文

