先了解这件事
AI 综述
2026年10月30日,Elorian与Mercor联合发布DecoyCount基准,用于测试模型是真正数清物体还是依赖视觉捷径。据Latent Space报道,前沿模型在该基准上的准确率均低于50%,最高为GPT-6 Astra的43.17%。Elorian称其视觉推理模型Glimpse在1,660道题上单次运行得分50.48%,是唯一超过50%的模型,但该结果来自内部测试且未使用智能体或工具框架,而论文中的六个模型各取三次运行平均值。Elorian CEO Andrew Dai表示,该基准同时考察视觉与推理,可区分模型是没看到物体还是数错了。
AI 根据公开报道生成
最新进展 · 正式报道
Elorian 发布 DecoyCount 基准,前沿模型视觉计数准确率均低于 50%事件进展
1 个已确认进展
- 来源:Latent Space
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
10月30日
Latent Space
Elorian 发布 DecoyCount 基准,前沿模型视觉计数准确率均低于 50%
Elorian 与 Mercor 联合发布 DecoyCount 基准,测试模型是真正数清物体还是依赖视觉捷径,前沿模型准确率均低于 50%,最高为 GPT-6 Astra 的 43.17%。Elorian 称其视觉推理模型 Glimpse 在 1,660 道题上单次运行得分 50.48%,是唯一超过 50% 的模型,但该结果来自内部测试且未使用智能体或工具框架,而论文中的六个模型各取三次运行平均值。Elorian CEO Andrew Dai 表示,该基准同时考察视觉与推理,可区分模型是没看到物体还是数错了。