Artificial Analysis v5 与基准测试者的两难

Artificial Analysis v5 与基准测试者的两难

对基准测试行业的一种评述，以及它缺失了什么。Nathan Lambert，2026年10月28日，文章配音0:00-10:37

爬山很容易，知道该爬哪座山却很难。让分数上涨代价高昂，但相比在当今 AI 的真正前沿打造有意义的基准，我们在这方面有一套清晰得多的行动手册。

语言模型的独立评估被低估了，因为它是一项多么困难的任务。这些机构并不只是拿当前模型来认证它们的分数——那本身就是一项技术性很强的工作。如果 AI 进展缓慢，这就是他们的本职工作。当 AI 进展像现在这样快时，这项工作的技术细节就成了日常例行部分，而真正的难点在于试图用一个数字来概括当今什么才算一个好的 AI 模型。目标是得到一个能代表当前模型的单一数字，与直觉检验、社区情绪和科学分析相符，同时又要足够有前瞻性，不至于在 3 个月后就过时。

每个构建基准的人都面临某种悖论。你需要你的基准能归结为单一数字，以便于讨论、用于报告和比较模型，但每一种聚合分数的方法都伴随着有意义的权衡。最优秀的科学家需要做这件事，每个人都需要。关键在于创建你认为最公平的聚合指标，同时明白总会有不完美之处。

鉴于当今 AI 生态系统中资金之庞大，独立评估的分量甚至更高——你决定着一个万亿美元市场的赢家和输家。你还会影响一些模型本身，引导进步的形态。这压力可真大！

我写这篇文章的由头是 Artificial Analysis 最近对其 Intelligence Index 的更新，即 v5。AA 指数是衡量最新前沿模型最突出的独立智能指标，远远排在第二位的是 Epoch AI 的能力指数（ECI）。迄今为止，所有这些指标对社区都极其有用，同时也存在巨大缺陷！

如今的语言模型能力如此之强，而且能力范围还在快速扩大。我们这种单一智能指数的时代应该很快被淘汰，但这需要很长时间。

下面是 AAv5 的摘要，来自他们的博客文章，他们在文中将其描述为“反映当今的真实世界使用情况”：

Intelligence Index v5 权重：

➤ 知识工作（25%）：AA-Briefcase（15%）、AutomationBench-AA（5%）和 GDP.pdf（5%）

➤ 编码（25%）：FrontierCode 2.0（15%）和 Terminal-Bench 4.0（10%）

➤ 科学（25%）：Terminal-Bench-Science（15%）和 CritPt v2 困难子集（10%）

➤ 通用（25%）：AA-Omniscience v1.1 15%（10% 准确率，5% 非幻觉）和 HLE-Diamond（10%）

以下是新的模型排名：

试图对当今真实世界使用情况进行基准测试的问题在于，它极其参差不齐，就像模型本身一样。最经得起验证的用例是编码，在这个领域开源模型竞争力强得多，也更有可能跟上。在知识工作方面，我对开源模型没那么有信心。

乍看之下，总体而言，他们的模型排名确实看起来合理。尽管如此，它仍显示出紧张和混乱的迹象，任何基准都会如此——在 AAv5 上，GPT 6.1 Terra 击败了 Claude Fable 5.1。如今，一些基准衡量的是能力的绝对前沿，通过你最喜欢的测试框架在开放式任务中表现出色，这通常确实需要一个大模型。另一些基准则衡量模型在重复性智能体任务中所需的某些技能。我感觉 AA 正把他们的基准更多地朝向前者调整，即一个通用的智能体协作者，但所有这些行为都有重叠。

这就引出了那个促使我写这篇文章的广为流传的图表，他们在其中展示了新基准上开源与闭源模型的平衡。这张图显示 8 个闭源模型击败了最好的待开源权重模型 Kimi K3.1 Pro（它没有被标成蓝色）。这个基准采取了一种试图衡量前沿模型正朝何处发展的立场，这拉大了与开源模型的差距。这是一个可以接受的决定，但随着时间的推移，当开源模型的现有工作流成为经济的关键因素时，它可能会变成一个错失行业核心经济引擎所在的基准。

开源模型由此而来的衰亡被大大夸大了，但我确实认为之前的指数过于强烈地抬高了开源权重模型。看看 Kimi K3.1 Pro 发布时的这张图——是的，开源模型很强，在某些情况下很有用，但最好的 OpenAI 和 Anthropic 模型在灵活性和可靠性上已经领先了一大步。

AAv5 中，开放模型落后最多的部分评测是“科学”类评测，例如 terminal-bench-science 和 CritPT v2。开放模型确实落后，但其价值主张从来就不是在前沿真正展开竞争。开放模型经济将围绕以下方面展开：

将具有高推理市场需求的专业领域降至硬件的商品价格。

允许拥有智能、将其专门化到内部数据，并在经济中的众多公司中控制内部智能体。

这两者都需要很长时间才能实现，并且在基准测试中只得到部分体现。目前算力供给如此之低，以至于开放模型提供商也在赚取可观的利润——当这一利润缩小时，我们就会知道这套体系开始运转了。企业扩散也是同样的情况，其确切上限并不清楚，因为如今构建评测和进行后训练需要困难的机器学习专业知识。

在下一个主要模型周期，比如 2-3 个月后的 GLM 6 或 Kimi 3.5，我预计领先的开放模型实验室将在这个指数上取得实质性进展，再次让许多观察者感到惊讶。这是我们多年来一直所处的周期。

我已经多次写过开放模型如何跟上前沿，总结如下：

最好的开放模型会稍微针对基准刷分。最差的开放模型则大量针对基准刷分（但反正也得不到多少关注）。

最好的开放模型所覆盖的能力范围略窄，如上文所示，它们在科学领域存在差距。开放模型实验室正在努力解决这个问题，但我认为不聚焦于此可能会成为一个战略错误。

如今对性能差距的解释有一个更细致的版本，即训练中的许多收益来自拥有分布接近评测的强化学习环境（更长的分析见此处）。要在多个领域跟上快速进展，需要复杂的强化学习技术栈，并非所有开放模型实验室都具备。有些实验室可能还依赖购买具有中等交付周期的数据。

这次公告的另一部分是转向“私有基准”，即提示词和测试环境不公开，以此表明开放实验室正在针对基准刷分。这类分析以前也做过，并且与我上面关于开放实验室如何针对基准刷分的理论相符。当你知道评测的形状时，创建支持该评测的训练数据会更容易，但用隐藏数据也并非不可能完成。总而言之，我认为这一变化在方向上是站得住脚的，但并非一致同意。例如，你是在完全信任私有基准的构建者，因为你不再能受益于社区发现基准中的问题并推动基准自我改进——而这种情况经常发生！事关的资金足够多，我更愿意看到基准测试的透明度，让众多眼睛来发现漏洞。

我需要提出的最后一点，确实是在恭维闭源实验室：Anthropic 和 OpenAI 这样的公司早在几个月甚至几年前就不再关心这些指数了。他们的重点绝大部分放在支持内部用途——比如 AI 研发自动化——以及花费数十亿美元的客户的用例上。是的，他们有团队成员在其他能力上攀登以开拓新市场，但这些行为只有少数程度是由公开基准驱动的。与此同时，对中小型实验室来说，在这些智能指数上显得扎实是生死攸关的，因为它们的品牌完全建立在追赶前沿之上。有时这是一场非常愚蠢的猫鼠游戏，但它将持续存在。

我们当前这种由一两个指数主导“前沿在哪里”话语的均衡，唯一的解决办法是拥有更多带有其他偏向的智能指数，例如仅针对编码的指数（如 CursorBench）。在某些方面，这正在形成，Vals AI 和 Intelligence.ai 等正在成长，但注意力份额非常偏向 Artificial Analysis。

每个基准创建者都有自己的世界观。困境在于，你总是可以调整数字来迎合你的叙事。这一直是做优秀科学所面临的挑战。这个问题最常见的版本是“你应该投入多少精力来调整你的训练基线？”更多的调整让你的结果更可信，但往往会降低你方法表面上的成功。在智能体时代，这一点加倍成立，因为大量分析工作是通过大语言模型的视角完成的。在评测中，这归结为你选择将哪些基准纳入你的指数。纳入一个支持你叙事的较低质量基准很容易，而纳入一个更严格但与之冲突的基准则不然。

基准测试行业归根结底取决于信任。我对 Artificial Analysis 有相当程度的信任，但并非我对生态系统中任何人所持有的最高信任。Artificial Analysis 的商业模式是从实验室赚钱来验证他们的结果。他们通过这样做赚了很多钱，这没问题。其他基准测试公司也有类似的问题，例如 Arena，它通过为实验室做发布前测试来支付账单。

我最信任在评测上保持公平的实体是非营利组织、学术界和像 CAISI 这样的政府机构。如今，我信任其在前沿评测上准确的机构是 Artificial Analysis 和 Arena 这样的初创公司。所以，我们都被困在权衡和困境之中。没有哪个数字是完美的，数字中存在大量回旋余地，让人们可以把分析引向不同方向。这是第二个困境，某种程度上是我的工作，即基准测试者的基准测试者的困境。它更多是社会学层面的，而非科学层面的。

感谢你读到最后！我想向我的读者表达一份感谢。Interconnects 的成长很大程度上依赖于读者的口口相传，所以如果你有朋友可能会喜欢这篇文章，请分享给他们。

我刚刚还在 YouTube 上发布了一场关于开放模型的综合性入门讲座，你或许会喜欢。

关于这篇文章的讨论12 条更多评论……

暂无文章

准备好了解更多了吗？