Artificial Analysis 发布 AA-Omniscience v1.1 基准
We’ve released AA-Omniscience v1.1, updating our knowledge and reasoning benchmark with a refreshed public set, removal of saturated questions, and ambiguity fi
Artificial Analysis 将知识与幻觉基准 AA-Omniscience 升级至 v1.1，题库从 6000 题缩减为 3000 题，并新增 300 题公开集，其与私有集 Net Score 的 Pearson 相关系数为 0.99。Gemini 4 Carbon (high) 以 Net Score 54 居首，Claude Opus 5.5 和 Claude Fable 5.1 分别为 48 和 46；开源权重模型中 Muse Spark Open (xhigh) 领先，落后榜首 28 分。新题集上模型 Net Score 平均下降 1.9 分，MiniMax M3.1 Flash 下降 22 分（16 到 -6），幻觉率中位数下降 1.4 个百分点，Gemini 4 Argon (high) 最低为 4%。
正文 · AI 翻译
我们发布了 AA-Omniscience v1.1，更新了我们的知识与推理基准，包括刷新公开集、移除已饱和问题以及修正歧义
AA-Omniscience 是我们专有的基准，用于衡量模型的知识与幻觉，包括模型是否会在不知道答案时承认自己不知道。我们的主要指标 Net Score 会奖励正确答案、惩罚错误答案，并对弃答保持中性。
AA-Omniscience 作为 Artificial Analysis Intelligence Index v5 发布的一部分更新至 v1.1。
AA-Omniscience v1.1 的主要变化：
➤ 更新为 3,000 题数据集：从 6,000 题缩减而来，移除了此前公开和已饱和的问题，修正了错误与歧义，并新增了问题
➤ 新校准的 300 题公开集：AA-Omniscience v1.1 在 @huggingface 上有一个新的公开集，其难度已校准至与私有集匹配。发布时，公开集与私有集在 AA-Omniscience Net Score 上的 Pearson 相关系数为 0.99，Spearman 秩相关系数为 0.99，中位差异为 0.0 分。准确率与幻觉率同样具有 0.99 的相关系数，中位差异分别为 -0.07 和 -0.29 个百分点
➤ 领域分布略有更新：问题仍覆盖与版本 1 相同的 6 个领域和 42 个主题，但分布有所调整：科学、工程与数学（600）、软件工程（600）、金融（450）、健康（450）、人文与社会科学（450）以及法律（450）
AA-Omniscience v1.1 的主要结果：
➤ 排名顺序基本保持不变：AA-Omniscience v1.1 与 v1 的 Spearman 秩相关系数为 0.98。近期发布的 Gemini 4 Carbon (high) 以 Net Score 54 领先，其次是 Claude Opus 5.5（48，max with fallback）和 Claude Fable 5.1（46，max with fallback）。Muse Spark Open (xhigh) 是领先的开源权重模型，落后 Gemini 4 Carbon 28 分
➤ 在刷新后的题集上，分数平均低约 2 分：与 v1 相比，模型的 Net Score 平均低 1.9 分，中位降幅为 0.6 分。部分模型降幅更大，尤其是 MiniMax M3.1 Flash，下降 22 分（16 降至 -6），以及 MiMo V2.6 Pro，下降 13 分（8 降至 -5）
➤ 准确率略有下降：AA-Omniscience Accuracy 衡量模型正确回答问题的百分比。与 v1 相比，模型平均正确回答的问题中位数少 1.5 个百分点。Claude Fable 5.1（max with fallback）的准确率最高，为 68%，其次是 Claude Opus 5.5（max with fallback），为 66%
➤ 幻觉率下降：AA-Hallucination 衡量模型在不知道答案时仍选择作答的频率。幻觉率中位数下降 1.4 个百分点，Gemini 4 Argon (high) 的幻觉率最低，为 4%