先了解这件事
AI 综述
Chroma 发布 Context Rot 技术报告,评估 18 种大语言模型随输入长度增加的性能变化。报告称,在保持任务复杂度不变、只改变输入长度的受控实验中,模型性能随输入变长而持续下降,且下降方式并不均匀。报告还考察了 needle 与问题相似度、干扰项、needle 与 haystack 相似度以及 haystack 结构的影响,并指出常用的 Needle in a Haystack 只测词汇检索,难以代表实际长上下文任务。研究同时给出可复现结果的完整代码库。目前尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
Chroma 研究：输入 token 增加如何影响 LLM 性能事件进展
1 个已确认进展
- 来源：Chroma Research
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月9日
Chroma Research一手
Chroma 研究：输入 token 增加如何影响 LLM 性能
Chroma Research 发布 Context Rot 技术报告，在保持任务复杂度不变、只改变输入长度的受控实验中测试 18 个模型，发现性能随输入变长而持续下降，且下降方式并不均匀。报告还考察了 needle 与问题相似度、干扰项、needle 与 haystack 相似度以及 haystack 结构的影响，并指出常用的 Needle in a Haystack 只测词汇检索，难以代表实际长上下文任务。研究同时给出可复现结果的完整代码库。