腾讯混元推出 CL-Bench Life：评测 AI 在真实生活碎片化 context 中的学习能力

🏠 CL-bench family 🧩 project page：[www.clbench.com](https://www.clbench.com/) 📄 CL-bench Life paper link: [download CL-bench Life paper](https://github.com/Tencent-Hunyuan/CL-bench/blob/main/clbench-life-paper.pdf) 🛠️ CL-bench family 🧩 code repository：[Tencent-Hunyuan/CL-bench-family](https://github.com/Tencent-Hunyuan/CL-bench) 🗂️ CL-bench Life data repository：[tencent/CL-bench Life](https://huggingface.co/datasets/tencent/CLBench-life)

## The other half of context learning

想要真正解决现实世界的问题，AI 不能仅仅依赖训练时记住的知识，它必须从当下正在发生的事情中学习新的 context、基于它们进行推理，并记住那些真正关键的信息。此前，我们打造了 [CL-Bench](https://hy.tencent.com/research/100025?langVersion=en) 来测试这种能力。但现在回过头看，我们给 AI了 一个巨大的捷径：context 已被提前整理好。

这种假设在专业的领域下相对成立，但在大家的日常生活中却截然不同。**!!#0066cc 回想一下我们每天都要面对的context：!!**①在一个日常闲聊和各种话题交错展开的亲友群中，理清大家本周末的时间安排、出行意愿、忌口等信息，敲定一份大家都能接受的周末旅行计划；②从“文件传输助手”里散落的几十条没来得及读的分享链接和随手写的备忘录中，拼凑出一份完整的产品规划；③又或是从自己过去大半年断断续续的运动打卡和康复日志中，分析出某个部位总是容易受伤的真正原因。生活是混乱的、极其碎片化的，仅仅依靠时间线勉强串联。

我们常常低估了这对 AI 来说有多难。最初的 [CL-Bench](https://hy.tencent.com/research/100025?langVersion=en) 测试的是模型能否掌握并用好复杂的新知识。但现实生活从来没有发给我们一本“说明书”。AI 不能只停留在理解干巴巴的规则上；它还必须能够在混乱、稀碎的线索中拼凑出事情的真相，并在各种干扰下保持极高的鲁棒性。

如果我们真想让 AI 蜕变为真正的私人助手，它们就必须切实读懂我们到底是如何生活的。为了迈出这一步，我们弥补了 CL-bench 未覆盖的场景，正式推出 CL-Bench Life。

## Introducing CL-bench Life

为了精准衡量 AI 在现实生活中的“上下文学习”能力，我们正式推出了 CL-Bench Life。这是一个完全由人工精心构建的基准，包含了 **!!#0066cc 405!!** 个真实的任务。

为了最大限度地覆盖最常见的真实场景，我们将整个测试基准划分为三大核心类别：

**!!#0066cc 1. 沟通与社交互动（与他人交互时产生的上下文）!!**： 这一类覆盖一对一私聊，混乱的多人群聊，活跃的社区讨论等场景。要在这类任务中成功，AI 必须学会“读懂话外之意”。它需要理解复杂的人际关系，感知隐藏的情绪变化，推理出一个群体如何逐渐形成共识，并从日常闲聊中分析出真正有用的信息。

**!!#0066cc 2. 碎片信息与修改轨迹（围绕自身主动产生的上下文）!!**： 这一类包括零散的个人笔记、公共信息流，以及文档反复修改留下的历史记录。这一类 context 的难点包括但不限于：需要模型必须从非常凌乱的日常信息碎片中重建出完整的逻辑线，或整理并推理出一个想法或者安排是如何被多次修改的。

**!!#0066cc 3. 行为记录与活动轨迹（在生活中被动产生的上下文）!!**： 这一类涵盖游戏日志、数字足迹，以及长期个人追踪记录。在这一类型的 context 中，AI 往往需要从一串行为痕迹中推理出背后所隐含的原因。例如，它要求模型进行分析一长段消费流水/健身数据等的行为记录，或者理解人的潜在习惯并发现长期习惯中的异常变化等。

CL-Bench Life 还包含了 **!!#0066cc 5348!!** 条完全由纯人工编写的评分标准，平均每个任务对应 13.2 个考核点。这些 rubrics 被设计得尽可能原子化，从而能够更全面、更细粒度地评估模型的答案是否正确。

## What we found

我们测试了 12 个不同的语言模型（更多模型的评测结果详见我们的!!#0066cc [开源榜单](https://www.clbench.com/)!!），初步的评测结果表明，这些模型平均只能解决CL-bench Life中 !!#0066cc **14.5%**!! 的任务。即便是表现最好的 GPT-5.5（High）也只能解决 22.2%的任务。这表明模型还不擅长处理高噪声的零碎 context。

这一结果甚至比我们在 CL-bench 中观察到的表现更低。在 [CL-bench](https://hy.tencent.com/research/100025?langVersion=en) 中，同一批模型平均能够解决 20% 以上的任务。这一差异也证实了 !!#0066cc **CL-bench Life 测试的是另一维度的 context learning**!!。CL-bench 中的 context 是来自专业领域的、往往相对更清楚，结构清晰，被有序的组织整理。此时，模型需要具备的能力是掌握新的知识例如规则或流程等，并有效使用它们。**!!#0066cc 而相反的是!!**，CL-bench Life 中的 context 是来自日常生活的，往往更混乱，无序，信息随时间轴可能被反复修改。在 CL-bench Life 中，模型需要整理分散在 context 各处的线索，处理噪声，并始终保持鲁棒。

这说明，当模型面对的不再是清晰、相对有序整理过的 context，而是杂乱、碎片化的日常 context 时，context learning 会变得更加困难。这两个 bench 对这一能力提出了不同方面和程度的要求。

**!!#0066cc 除了整体表现之外，进一步的实验分析还揭示了一些重要发现：!!**

① !!#0066cc **在 CL-bench Life 中，虽然模型完美解决任务的比例不高，但部分正确的比例要高得多**!!。当我们调整任务通过阈值时（即一个回答至少需要满足多少比例的 rubrics 才算正确），模型的通过率会发生明显变化。阈值越宽松，各个模型的通过率都会显著上升。这说明模型虽然很难完整解决一个任务，但确实能够理解其中部分 context 以完成任务的一部分。

与此同时，!!#0066cc **在不同阈值下，模型之间的相对排名大体保持稳定**!!。这意味着 CL-bench Life 既能很好地区分“理解部分 context”和“完美解决任务”，也能在这种情况下支持对不同模型进行相对稳定的比较。

② !!#0066cc **不同类别的 context 对模型 context learning 能力的要求各有侧重。**!!即便 CL-bench Life 中的 context 都属于日常生活场景，但信息的类型并不一样，也导致了对模型的能力要求有不同的侧重。例如，在沟通和日常交流大类中，除了信息的碎片化外，困难也主要来自社交关系和多人互动：相关信息分散在交错的话题、讨论线也是重叠的、人物关系和对话的指代关系也更加复杂。而在碎片化信息和修订记录大类中，模型需要整合不连续的线索，并推理一个内容是如何随时间变化而不断被修改的。

③ !!#0066cc **模型在日常生活中 context learning 能力的不足，不能简单归因于长文推理能力的问题**!!。我们发现，更长的输入确实可能让任务更难，但输入长度本身并不能完全决定任务难度。具体来说，模型一旦开启 reasoning 模式，context 长度和模型表现之间的关系就变得不那么相关（如下图所示）。这说明日常生活 context learning 的主要瓶颈并不只是模型能否处理更长的输入（即长文推理能力），还在于能否处理高噪声输入。

!!#0066cc **这与 CL-bench 中的现象有所不同**!!。在 CL-bench 中，随着 context 变长，模型表现通常会更明显地下滑，因为更长的输入往往意味着模型需要吸收更多新的复杂知识。而在 CL-bench Life 中，长度只是一个较弱的预测因素。即使 context 不长，但只要它包含大量的噪声、被反复修改，或真正的有用信息分散在的各处时，模型处理这些 context 也可能会非常困难。

④ 为了进一步理解这些局限，我们分析了模型的失败原因。跨模型来看，!!#0066cc **最主要的错误类型是 context misuse**!!，即模型错误理解或使用了这些信息。值得注意的是，!!#0066cc **这与 CL-bench 中的 context misuse 不完全相同**!!。在 CL-bench 中，误用 context 往往意味着模型错误地应用了 context 新定义的知识。而在 CL-bench Life 中，错误更多因为模型没有捋清一个事件或一段对话的来龙去脉等。例如，混淆了一个随口提到的“他”到底指谁，依赖了已经被后续的修订推翻了的早期信息进行推理，或者把一段个人的行为轨迹看成孤立事件，而没有推理出一个长期的习惯。

下面，我们深入分析了模型在群聊类 context 中的常见错误，来进一步探索模型在日常生活场景下 context learning 失败的原因。

**!!#0066cc 在群聊和会议类 context 中，最常见的错误是角色混淆以及说话人归因错误!!**，包含模型不能正确记忆哪些话是谁说的以及引用了哪些话。例如，在一个由 Alice、Brenda、Clara 三人协作答复用户食谱与园艺提问的 Slack 频道中，Gemini 把"创建频道、发起规则"的 Alice 误认为是上级 ，把真正拍板裁决的 Clara 当作其下属，推断错了这个组织里面的人际关系角色。因此之后一连串的上下级汇报关系也搞错了。

这说明模型理解群聊 context 的核心难点不仅在于需要时刻跟踪事件的发生，这还需要在混乱的多人互动中持续维护用户信息、说话人的身份，以及在实际参与者之间不断变化的关系中保持鲁棒。

总体来看，这些进一步的实验发现说明了 **!!#0066cc CL-bench Life 并不只是 CL-bench 一个更难的版本，而是一个互补的评估基准!!**：它评估模型是否能够在真实生活中那些杂乱、碎片化、持续变化的 context 上进行鲁棒推理。

## The end

CL-Bench Life 揭示了一个不容忽视的结论：即使是当今最顶尖的 AI 模型，也还远没有真正读懂我们的日常。 这也解释了很多人和 AI 交流时，会觉得 AI 还是不够机灵。即使我们把聊天记录、零散笔记、日常记录都交给模型，希望他能处理这些日常任务时，它有时还是“抓不住重点”。这是因为它可能仅仅读到了信息，却没有真正理解这些信息在现实生活中的含义。

我们希望 CL-bench 和 CL-bench Life 能从**!!#0066cc 两个互补方向共同推动 context learning 的发展!!**：一手掌控专业领域中聚焦、有条理的知识；一手应对真实生活中碎片、混乱的现实，最终帮助 AI 在人类的工作和日常生活中都变得更加智能、实用和可靠。

但显而易见的是，这条围绕 context 发展的路并不会停在这里。让 AI 学会处理复杂 context，是它真正走进现实世界的关键。CL-bench 系列工作推动 AI 更深入理解 context 是这其中非常重要的一步，而让 AI 学会在长期使用中记忆、整理和组织 context，则是迈向真正能服务人类的个人助手的下一步。

## Acknowledgements

特别感谢 **!!#0066cc Pluto Zhou!!**，希望我们能继续共同推动混元模型 context 能力的进步。 另外，再次非常感谢 **!!#0066cc 姚顺雨（Shunyu Yao）!!** 始终投入时间和精力来充分把控我们工作的质量。其次，非常感谢 **!!#0066cc 沈钰炯（Yujiong Shen）!!** 和 **!!#0066cc 何千羽（Qianyu He）!!** 在博客上的帮助。最后，我衷心感谢我的导师 **!!#0066cc 桂韬（Tao Gui）!!**副研究员、**!!#0066cc 张奇（Qi Zhang）!!**教授和 **!!#0066cc 黄萱菁（Xuanjing Huang）!!**教授，感谢他们一如既往的指导与支持。

*!!#737373 写于 2026 年 4 月 29 日，提前祝国际劳动节快乐。!!*