VIALS-AA：科学图像推理的不同路径

Artificial Analysis

所有文章2026年11月6日VIALS-AA：科学图像推理的不同路径

VIALS-AA 是我们对 Handshake AI 的 VIALS 基准的实现，用于测试语言模型能否解读科学图像并回答关于其中所包含证据的问题。模型在通往正确答案的过程中会走不同的路径，而且即使在广泛检查图像之后，也常常答错问题。VIALS-AA 排行榜阅读方法论探索轨迹本文为发布文章，展示截至 2026 年 11 月 6 日的 VIALS-AA 结果。如需当前结果，请参阅 VIALS-AA 排行榜。

概述

VIALS-AA 测试模型能否解读科学图像并回答关于其中所包含证据的问题。我们使用开源参考测试框架 Stirrup，将其 161 个任务各运行三次，为模型提供代码执行和图像检查工具。结果显示了模型在可靠任务成功率以及为得出答案所付出的工作量方面的差异。

主要发现

Gemini 4 Carbon (high) 以 64% 的得分领先。它在 161 个任务中有 103 个任务的三次重复全部答对，比 GPT-6 Astra (max) 多两个。Gemini 4 Carbon (high)、GPT-6 Luna (max)、GPT-6.1 Sol (max)、GPT-6.1 Terra (max) 和 GPT-6 Astra (max) 构成了所测试模型中的得分–成本帕累托前沿

更多轮次和视觉检查并不总能带来更好的结果。Claude Sonnet 5.5 (max, with fallback) 和 GPT-6.1 Sol (max) 在 VIALS-AA 上得分相近（分别为 60% 和 59%），但 Claude Sonnet 5.5 每个任务的工具调用次数是后者的 3.6 倍

一致性区分了 pass@3 率相近的模型。Kimi K3.1 Pro (max) 和 GPT-6 Astra (max) 各自至少一次解决了约四分之三的任务。要求三次重复全部成功则区分了它们的得分：Kimi K3.1 Pro (max) 为 45%，而 GPT-6 Astra (max) 为 63%。我们要求三次全部成功，因为在科学工作中，运行之间会变化的结果无法依赖

每任务成本相差近 99 倍。从 GPT-6 Luna (max) 的 $0.02 到 Grok 4.7 (xhigh) 的 $1.77。GPT-6.1 Sol (max) 以每任务 $0.06 的得分达到 59%，在性能相近（61%）的情况下，成本约为 Claude Opus 5.5 (max, with fallback) 的三十分之一

VIALS-AA：得分三次重复全部答对的任务占比（pass^3）无公开可用 API

VIALS-AA：得分与每任务成本VIALS-AA 得分 · 每任务成本（美元）最具吸引力的象限帕累托线

成本根据输入、缓存读取、缓存写入、推理和答案 token 价格计算，再除以任务数。Token 用量按每任务 3 次独立重复取平均，使用各模型的代表性缓存命中率。成本仅包含参赛模型的调用；评判模型的调用不计入。

示例轨迹：穿越科学图像的不同路径

第一个任务要求模型在凝胶电泳图像中定位蛋白质斑点 22，并根据纵轴估算其分子量范围。模型会走不同的路径：简短的视觉检查、明确的测量，或使用标注和处理后视图进行反复核对。在 Grok 4.7 (xhigh) 中，我们看到广泛的检查和标注最终仍得出错误答案。

简短检查与明确测量都可以奏效

简短视觉检查

GPT-6 Astra (max) 检查图像尺寸，打开原始图像，制作 4 倍放大图并打开它。然后它写下正确答案，并在六轮内完成。它没有进行像素测量或对比度调整，也没有绘制参考线，而是依靠其视觉准确性在无需额外工具使用的情况下正确作答。

第 1 轮

检查图像文件

total 78 drwxr-xr-x 1 root root 70 Nov 3 04:55 . drwxr-xr-x 1 root root 100 Nov 3 07:47 .. -rw-r--r-- 1 root root 0 Nov 3 04:57 answer.txt -rw-r--r-- 1 root root 78963 Nov 3 04:55 image.jpg (412, 409)

记录的工具输出摘录

enlarged.png · 1648 × 1636 px创建于第 3 轮

明确测量与计算

Claude Sonnet 5.5 (max) 放大凝胶并裁剪斑点 22 周围的区域。它测量分子量标准条带，检查箭头附近的像素，绘制参考线，增强对比度，并插值计算分子量。这些明确的测量将斑点的位置与分子量标准进行核对，支持 40-50 kDa 的答案。它在 18 轮内完成。

第 4 轮

检查 3 倍放大图

big.png · 1236 × 1227 px创建于第 3 轮

第 6 轮

检查 6 倍裁剪图

crop22.png · 1320 × 960 px创建于第 5 轮

第 15 轮

增强对比度并检查参考线

clahe22.png · 1020 × 780 px创建于第 14 轮

第 16 轮

插值计算分子量

22 number label centre y= 159.0 MW(log-linear)= 53.0 kDa MW(pchip)= 52.7 kDa arrowhead tip y= 168.5 MW(log-linear)= 49.7 kDa MW(pchip)= 49.7 kDa faint spot centre y= 172.0 MW(log-linear)= 48.7 kDa MW(pchip)= 48.6 kDa spot lower extent y= 174.0 MW(log-linear)= 48.1 kDa MW(pchip)= 48.0 kDa

记录的工具输出摘录

反复核对（最终以视觉错误告终）

Grok 4.7 (xhigh) 反复使用网格、阈值、参考线和标注像素来检查该区域。它用了 27 轮和 20 次图像查看，却回答 50-70 kDa。在其最终标注视图中，Grok 用橙色圈出印刷的“22”，用红色圈出箭头尖端，并将尖端放在其绿色的 50 kDa 参考线上。其最终答案引用标签和引导线来论证 50-70 kDa。这表明它把范围锚定在标注上，而非微弱的蛋白质斑点上。Claude Sonnet 5.5 (max) 的插值将标签（约 53 kDa）与斑点（约 48.7 kDa）区分开来，支持 40-50 kDa 的参考范围。

第 9 轮

检查坐标网格

z22.png · 1080 × 420 px创建于第 8 轮

第 16 轮

检查分子量参考线

z22_lines.png · 960 × 720 px创建于第 15 轮

第 19 轮

标注单个像素

pixel22.png · 400 × 480 px创建于第 18 轮

第 25 轮

检查标签和箭头尖端

decision.png · 1000 × 600 px创建于第 24 轮

在没有原生视觉能力的情况下解读图像

具备视觉能力的模型天然适合 VIALS-AA：它们可以检查科学图表、读取其标签，并将视觉特征与问题关联起来。我们还希望测试没有原生视觉能力的模型会如何应对这些任务。我们给 GLM-5.3 (max) 提供了相同的图像文件和代码执行能力，让它通过工具来研究该图表。

在没有原生视觉能力的情况下，模型依赖代码从图像中提取证据。在下面的斑点 22 轨迹中，GLM-5.3 (max) 将图像加载到数组中，放大并对区域进行阈值处理以进行 OCR，比较像素强度，并打印图像的坐标和文本映射。它利用这些输出来定位标签、测量分子量标尺，并选择一个候选斑点。每一轮代码都会返回另一条证据，供模型解读和修正。

这一选定的配对展示了所涉及的额外工作及其局限。GLM-5.3-Flash (max) 将代码与十次图像查看相结合，在 30 轮内完成并给出正确范围。GLM-5.3 (max) 用了 54 轮和 57 次代码调用，没有进行图像查看，却给出了错误答案。

不同模型之间的工具使用差异巨大

我们对原始测试集中全部 19 个模型的工具调用进行了分类，覆盖 9,177 次运行。大多数调用与视觉证据有关。38.3% 的工具调用是查看图像，而 47.3% 是准备或测量图像，包括创建裁剪图、增强视图以及从像素中提取测量值。图像测量仅占 GPT-6 Astra (max) 和 GPT-6.1 Sol (max) 工具调用的 5–6%，而 Claude Opus 5.5 (max) 和 Claude Sonnet 5.5 (max) 则为 25–27%。

VIALS-AA：每任务工具调用数每任务平均工具调用数，取三次独立重复的平均值无公开可用的 API

完成或放弃任务的调用不计入工具调用数。每任务数值按记录的重复次数取平均，每个模型最多 483 次观测。每轮工具调用数是计入的工具调用总数除以已完成的模型轮次总数。没有记录轮次数的重复（例如立即被安全机制阻止）不计入。

我们如何对工具调用进行分类

工具调用类别及包含的活动

类别包含

图像查看原始图像；裁剪图及其他处理后的视图

图像准备裁剪；缩放/调整大小；旋转；对比度/亮度调整；标注和参考线；掩码/伪彩色；ASCII 渲染

图像测量对象计数；面积；条带强度；强度分布；坐标；距离；结构关系；测量图表

评论 / 无操作评论；空代码；静态叙述或推理

其他

OCR：从像素中提取文本和标签

计算：数值、统计、符号或科学计算

检查/设置：文件、尺寸、元数据、依赖项、保存的结果、辅助脚本

答案撰写：最终答案文件创建、格式化、回读

其他/不明确：未分类的活动或证据不足

每次调用根据其主要活动归入一个主要类别。

图像查看来自 view_image 工具；其他活动组对 code_exec 调用进行分类。其他包括文件和环境的检查、答案撰写、计算、OCR 以及不明确的活动。OCR 占“其他”调用的 12.4%；Gemini 3.8 Flash (high) 占 OCR 调用的 21%。

并非每次代码执行都在进行分析

Gemini 3.8 Flash (high) 占该队列中被归类为评论/无操作的调用的 86.7%。这占其工具调用的 5.6%，即其每任务 67.5 次调用中约 3.8 次。

评论/无操作工具调用涵盖静态叙述、注释或打印文本，不涉及新的计算或文件分析。在蛋白质斑点 22 中，一次评论/无操作工具调用打印了对斑点标签的解读。代码执行工具充当记事本：模型写出其解读，文本会在下一次模型请求中返回。

更智能的模型往往调用更少的工具

Artificial Analysis 智能指数得分更高的模型在 VIALS-AA 上通常进行更少的工具调用。

但相似的 VIALS-AA 得分可能来自截然不同的检查策略：Opus 和 Sonnet 进行的工具调用和图像测量远多于 Astra 和 Sol。工具活动

VIALS-AA：工具使用与智能每个点代表一个模型，覆盖相同的 161 个任务和三次独立重复最具吸引力的象限

模型解出的任务数量相近，但顶尖得分者的稳定性要高得多

领先的开源权重模型至少解出一次的任务数量与闭源前沿模型大致相当，但稳定性要差得多。Kimi K3.1 Pro (max)、MiMo-V2.6-Pro 和 MiniMax-M3.1-Flash (max) 各自至少解出一次的任务数为 114–119 个，而七个顶尖得分模型（均为闭源）为 111–118 个。它们仅在 48–73 个任务上通过全部三次重复，而后者为 95–103 个。我们的核心指标 pass^3 是指在全部三次重复中都正确作答的任务占比。我们采用 pass^3，是因为科学工作中前后不一致的答案可能导致错误结论和高成本的后续实验。

VIALS-AA：三次重复间的一致性通过零次、一次、两次或全部三次重复的任务占比无公开可用的 API

Gemini 4 Carbon (high) 在八个领域中的三个领先

Gemini 4 Carbon (high) 在八个领域组中的三个领先或并列领先：质粒图谱、系统发育学和流式细胞术。它与 Gemini 4 Argon (high) 并列流式细胞术第一。Claude Opus 5.5 (max) 在印迹法上领先，Claude Sonnet 5.5 (max) 在细胞计数上领先，GPT-6.1 Terra (max) 在蛋白质结构/结合上领先。GPT-6 Astra (max) 和 GPT-6.1 Sol (max) 在分子结构上并列领先。

VIALS-AA：按领域得分按科学领域划分的在全部三次重复中均正确作答的任务占比。颜色在每个领域内对所有受测模型进行了归一化

各模型的单任务成本相差近 100 倍

单任务成本从 GPT-6 Luna (max) 的 $0.02 到 Grok 4.7 (xhigh) 的 $1.77，相差 99 倍。GPT-6.1 Sol (max) 和 Claude Sonnet 5.5 (max) 的得分分别为 59% 和 60%，但 Sonnet 的单任务成本约为前者的 18 倍。

单任务输出 token 数从 GPT-6 Astra (max) 的约 2.21k 到 MiMo-V2.6-Pro 的 94.6k，相差 43 倍。推理占各模型输出的大部分。Claude Sonnet 5.5 (max) 使用 63.5k，其中包含 54.6k 推理 token：在得分相近的情况下，其输出 token 数约为 GPT-6.1 Sol (max) 的 25 倍。

VIALS-AA：单任务成本运行 VIALS-AA 的单任务平均成本（美元），根据 token 用量和模型定价计算，包含代表性缓存命中率无公开可用的 API

成本根据输入、缓存读取、缓存写入、推理和答案 token 的价格计算，再除以任务数。Token 用量按每个任务的 3 次独立重复取平均，使用各模型的代表性缓存命中率。成本仅包含参赛模型的调用；评审调用不计入。

VIALS-AA：单任务输出 token 数每个 VIALS-AA 任务消耗的平均推理和答案 token 数无公开可用的 API

每个任务的答案和推理 token 数，按 3 次独立重复取平均。

VIALS-AA 资源

排行榜位于 VIALS-AA 评估页面

方法页面介绍了当前实现、评分和计分方式

Handshake AI 的 VIALS 基准页面介绍了数据集和原始评估

公开数据集位于 Hugging Face

Stirrup 测试框架位于 GitHub

Thinking Machines Inkling 2 Small：待权重发布后将成为中国以外得分最高的开源权重模型

Thinking Machines 已发布 Inkling 2 Small，在 Artificial Analysis 智能指数上得分为 31——其发布权重的计划将使其成为当前排名中中国以外开发出的得分最高的开源权重模型

2026 年 11 月 5 日

Nanbeige 已发布 Nanbeige4.3-33B，在智能指数上得分为 20

Nanbeige 已发布 Nanbeige4.3-33B，这是一款开源权重模型，在 Artificial Analysis 智能指数 v5 上以 20 分与 Qwen3.8 27B (xhigh) 持平，终端使用能力更强但知识较弱

2026 年 11 月 5 日

Gemini 4 Carbon 成为 Artificial Analysis 智能指数 v5 的新第一名

谷歌的 Gemini 4 Carbon 成为 Artificial Analysis 智能指数 v5 的新第一名，并在 Artificial Analysis 编码智能体指数上仅次于 Claude Opus 5.5

2026 年 10 月 28 日