Elorian 发布 DecoyCount 基准,前沿模型视觉计数准确率均低于 50%
Elorian 与 Mercor 联合发布 DecoyCount 基准,测试模型是真正数清物体还是依赖视觉捷径,前沿模型准确率均低于 50%,最高为 GPT-6 Astra 的 43.17%。Elorian 称其视觉推理模型 Glimpse 在 1,660 道题上单次运行得分 50.48%,是唯一超过 50% 的模型,但该结果来自内部测试且未使用智能体或工具框架,而论文中的六个模型各取三次运行平均值。Elorian CEO Andrew Dai 表示,该基准同时考察视觉与推理,可区分模型是没看到物体还是数错了。
题。” DecoyCount 论文中的前沿模型对比 视觉思维究竟是什么? Andrew Dai 在 AI 领域并非初来乍到者。2015 年,在 Google 工作期间,他与人合著了一篇题为《半监督序列学习》的论文。在这篇论文中,Dai 和他当时的同事 Quoc Le 展示了后来被大型语言模型采用的“预训练后再微调”方法的早期版本。在随后的十年里,Dai 在 Google DeepMind 工作,参与了 GLaM MoE、PaLM 2,以及后来的 Gemini。赞助你的赞助广告位在这里触达正在构建未来的 AI 工程师。 Latent Space 的读者正是那些交付智能体、模型和基础设施的人。咨询赞助此广告位。business@latent.space → Dai 今年才离开 Google,目的是联合创立 Elorian。他的部分动机是推动视觉模型能力的边界。他向 Latent Space 解释说,他的方法基于人类心理学中一个名为视觉思维的概念。 当大多数人“思考空间问题或视觉问题”时,他解释说,“他们会通过在大脑中生成图像和编辑图像来将问题可视化。” 他举了一个买沙发并在脑海中想象它放在
匹配字段正文

