Elorian 发布 DecoyCount 基准，前沿模型视觉计数准确率均低于 50%

← 阅读室Latent Space前沿模型能看穿诱饵吗？Elorian 测试视觉推理

一项新的诱饵计数基准揭示了“看见”与“推理”之间的差距。Elorian 的 Glimpse 试图通过用图像思考来弥合这一差距。Richard MacManus10月29日·6 分钟阅读

本月，Elorian 推出了其首个视觉推理模型 Glimpse。它被宣传为“一种全新类别的视觉思维模型：一个能根据所见之物对物理世界进行推理的系统。”在 X 上查看帖子 ↗

那么，Glimpse 在视觉测试中与前沿模型和世界模型相比表现如何？一个由 Elorian 联合发布、名为 DecoyCount 的新基准提供了一些答案。

我们就该基准采访了 CEO Andrew Dai，也谈到了 Elorian 在拥挤的模型格局中的定位。

DecoyCount 结果

Elorian 于今年 4 月结束隐身状态，带着 5500 万美元种子轮融资亮相，该轮融资由 Striker Venture Partners、Menlo Ventures 和 Altimeter Capital 共同领投。如今，Elorian 与 AI 数据公司 Mercor 合作，宣布推出 DecoyCount 基准，用于测试语言模型是真正在数物体，还是依赖视觉捷径和替换启发式。

根据随发布一同提供的论文，前沿模型在 DecoyCount 上的准确率低于 50%——最高的是 GPT-6 Astra，为 43.17%。论文中没有提到 Elorian 的新模型，但 Dai 告诉我们，Glimpse 在内部测试中得分为 50.48%。

关于前沿模型，论文的结论是：“更强的通用推理本身并不能泛化到对齐的视觉推理。”

该基准如何运作：“DecoyCount 通过七种机制暴露可解释的计数失败。”

为了确保与前沿模型进行的是同类比较，我们询问论文中的评估图像是否已从 Glimpse 的训练中排除？

“评估图像和文本已从我们的训练中排除，我们的污染检查发现所检查的训练数据中没有重叠，”Dai 通过电子邮件回复说。“在没有任何提示的情况下，Glimpse 在 1,660 个 DecoyCount 项目上得分为 50.48%，使其成为对比中唯一超过 50% 的模型。最接近的是 GPT-6 Astra，为 43.17%，落后约 7 个百分点，而 Gemini-3.8-flash 得分为 32.71%，Qwen3.8-max 得分为 28.31%，Claude-Fable-5.1 则为 25.22%。”

Dai 确实指出，Glimpse 的结果“来自模型单独的一次运行，没有智能体或工具框架”，而论文中的六个模型各自是在其报告设置下三次运行的平均值。

前沿模型在 DecoyCount 基准上的结果，每个模型各运行 3 次。

但 DecoyCount 究竟揭示了现有模型基准遗漏了什么？据 Dai 所说，它同时测试视觉和推理——而大多数基准会忽略这一点。

“如果一个人看到镜子前有一个苹果，我们知道只有一个苹果，它被反射了。但模型可能完全漏掉苹果（视觉问题），或者把苹果及其倒影数成两个（推理问题）。但大多数测试这种错误的基准只检查最终数字，所以两种错误被同等对待，如果你想解决根本问题，却无法判断这是视觉问题还是判断问题，这就是个问题。”

DecoyCount 论文中的前沿模型对比

视觉思维究竟是什么？

Andrew Dai 在 AI 领域并非初来乍到者。2015 年，在 Google 工作期间，他与人合著了一篇题为《半监督序列学习》的论文。在这篇论文中，Dai 和他当时的同事 Quoc Le 展示了后来被大型语言模型采用的“预训练后再微调”方法的早期版本。在随后的十年里，Dai 在 Google DeepMind 工作，参与了 GLaM MoE、PaLM 2，以及后来的 Gemini。赞助你的赞助广告位在这里触达正在构建未来的 AI 工程师。

Latent Space 的读者正是那些交付智能体、模型和基础设施的人。咨询赞助此广告位。business@latent.space →

Dai 今年才离开 Google，目的是联合创立 Elorian。他的部分动机是推动视觉模型能力的边界。他向 Latent Space 解释说，他的方法基于人类心理学中一个名为视觉思维的概念。

当大多数人“思考空间问题或视觉问题”时，他解释说，“他们会通过在大脑中生成图像和编辑图像来将问题可视化。”

他举了一个买沙发并在脑海中想象它放在客厅里会是什么样子的例子。

一个概念性的视觉推理循环

还有在脑海中操作图像；例如，如果你在数桌子周围的人，你可能会在脑中“把他们一个一个划掉，”Dai 说。

这就是 Elorian 在其模型中想要做的：教它们视觉思维，“这涉及将生成和编辑图像作为推理轨迹的一部分，与语言一起。”

关键在于，图像生成对视觉模型来说不仅仅是输出——生成或编辑的图像是推理链的一部分。

Elorian 与世界模型有何不同？

视觉推理仍是一项进行中的工作，但今年在“世界模型”领域已经出现了一些令人印象深刻的发布——视觉是其中的关键组成部分。其中两个尤为突出：World Labs 于 9 月推出的 Atlas（该公司随后被 AMD 收购），以及 Google 刚刚发布的 Genie 4。

当 World Labs 发布 Atlas 时，它被描述为“面向空间智能的全能世界模型”。但 Atlas 所实现的功能——基本上是对世界的 3D 模拟——与视觉推理并不相同。

据 Dai 所说，世界模型能够实现对世界的“直接作用”，而 Elorian 更侧重于他所说的“间接作用”。他指的是利用视觉推理来为决策或工作流提供依据（Glimpse 所做的），而不是构建允许导航和操作的模拟环境（Atlas 所做的）。

举个例子，你可以用视觉推理来判断是否应拒绝某段用户上传的视频，因为它违反了政策。“你不需要 3D 渲染就能做到这一点，”Dai 说。

视觉推理的应用

Elorian 的其他商业机会包括机器人、工程和国防应用。Dai 补充说，建筑师需要定期检查建筑规范和合规性——这是视觉推理模型的理想任务。

在两个机器人基准测试 WGO Bench 和 ERQA 中，Elorian 声称其评分等于或高于前沿模型，而且价格便宜得多：

来源：Elorian

回到将数诱饵作为衡量视觉模型成功与否的一项指标，Dai 认为，对模型所见内容进行推理，对于其在现实应用中的准确性和有效性至关重要。

他举了一个仓库机器人清点箱中物品的例子。

“一个熟悉的 12 槽托盘可能只装 10 个零件，而 24 件装的标签并不意味着箱子里仍有 24 件物品，”Dai 说。“依赖自己预期所见内容的模型，在现实情境中会遇到很多问题，而 Glimpse 的设计初衷是透过图像来工作，而不是急于下结论。我们将 Glimpse 设计为让计数建立在可见证据之上，而不是依赖可能误导其他模型的基本线索。”

为什么 Elorian 认为 AGI 需要视觉推理

Elorian 甚至声称视觉推理是 AGI（通用人工智能）的基础要求。摘自 Glimpse 发布文章：

“我们相信，从系统、数据、模型架构到训练构建全栈——从底层开始为多模态智能而设计——能够在物理世界中解锁 AGI。”

Dai 承认“人类与机器之间仍存在巨大差距”。但他认为视觉推理是缩小这一差距的关键。

“我认为理解视觉推理的方式是，把它看作人类智能中推理的一个基础步骤，”他说。“而最终，如果我们想构建任何类似 AGI 的东西，就不能跳过视觉。”感谢阅读

保持领先一步。