Artificial Analysis 发布 HLE-Diamond 榜单
We've launched our HLE-Diamond leaderboard, our independent evaluation of the refined 1,000-question version of Humanity's Last Exam, as part of v5 of the Artif
Artificial Analysis 在 Intelligence Index v5 中上线 HLE-Diamond 榜单，独立评测 CAIS 与 Scale AI 精炼后的 1000 题版 Humanity's Last Exam。仅 17 个模型变体（约 13%）得分超过 50%，Gemini 4 Carbon (high) 以 69% 居首，Claude Opus 5.5 (max) 以 68% 紧随。开源权重模型最高为 Kimi K3.1 Pro 的 37%，落后逾 30 分。
正文 · AI 翻译
我们已在 Artificial Analysis Intelligence Index v5 中推出 HLE-Diamond 排行榜，这是我们对精炼版 1,000 题 Humanity's Last Exam 的独立评测。
HLE-Diamond 由 @CAIS 和 @scale_AI 发布，此前他们借助研究界的意见，对原始 Humanity's Last Exam 数据集进行了为期一年的清理和精炼。该数据集包含 1,000 道封闭式题目，推理与知识各占一半，其中 272 道题包含图像。
我们对每道题在不使用工具的情况下各运行一次，采用官方 HLE 系统提示词。GPT-5.6 Luna (medium) 使用官方 HLE 评判提示词，将每个答案与参考答案进行评分比对，我们报告被判定为正确的题目占比（pass@1）。
主要结论：
➤ 目前仅有 17 个模型变体（约 13%）得分超过 50%：Gemini 4 Carbon (high) 以 69% 领先，Claude Opus 5.5 (max) 以 68% 紧随其后
➤ 模型在推理部分的得分高于知识部分：在我们测量的模型中，超过 90% 的模型在基准的推理部分表现更好。Gemini 4 Carbon (high) 在两部分均领先，推理为 80%，知识为 59%。Claude Opus 5.5 (max) 和 GPT-6 Astra (max) 的推理得分均为 78%，而 Opus 5.5 在知识部分领先，为 58% 对 50%
➤ 开放权重模型落后逾 30 分：Kimi K3.1 Pro（权重尚未发布）以 37% 成为得分最高的开放权重模型，其次是 MiniMax-M3.1-Flash 的 28% 和 Kimi K3 (max) 的 27%