←新闻详情

X.PIN更新于 10月13日 02:15

Seed 团队预印本报告 DeepSeek V4 与 V4.1-Flash 存在相位敏感性

A Seed team preprint reports “phase sensitivity” in DeepSeek V4 and V4.1-Flash: identical information can become harder to retrieve depending on its position wi

AI 导读

Seed 团队的一篇预印本报告称,DeepSeek V4 和 V4.1-Flash 存在相位敏感性:同一信息在压缩 KV-cache 块中的位置不同,检索难度也会不同。该技术降低了内存与注意力开销,但长上下文检索准确率在不同位置间最多相差 40 个百分点。作者指出,平均基准分数可能掩盖这些反复出现的薄弱点,且该发现针对的是检索,而非所有已报告的模型异常。

推荐理由

AI 评分 51

Seed 团队的预印本指出压缩 KV-cache 会带来位置相关的检索波动,读者可据此理解长上下文评测均值之外的薄弱点。

主题

标签

正文

当前显示原文,中文全文译文尚未就绪。

A Seed team preprint reports “phase sensitivity” in DeepSeek V4 and V4.1-Flash: identical information can become harder to retrieve depending on its position within compressed KV-cache blocks.

The technique cuts memory and attention costs, but long-context retrieval accuracy varied by up to 40 percentage points across positions.

Average benchmark scores can hide these recurring weak spots. The findings concern retrieval, not every reported model glitch.

来源

X.PIN