AI 热点

ARC Prize 公布 Mercury 3 Preview 在 ARC-AGI 上的评测结果

ARC Prize更新于 11月17日 23:22

@_inception_ai - Leaderboard: https://t.co/x8U1ItNLRj

AI 导读

ARC Prize 公布 Inception 的 Mercury 3 Preview 在 ARC-AGI 上的评测结果:ARC-AGI-1 得分 88.5%,每任务 0.03 美元;ARC-AGI-2 得分 61.8%,每任务 0.06 美元;ARC-AGI-3 得分 0.2%,每任务 299 美元(provider adapter)或 0.1%、333 美元(standard)。这是 ARC Prize 评测的首个扩散模型,instant reasoning effort 下在 ARC-AGI-2 公开数据集上平均 981 output tokens/秒,单次调用峰值 1,743 tokens/秒;开启推理后平均 500-600 tokens/秒。ARC Prize 同时给出排行榜、复现方式和测试政策链接。

推荐理由

精选AI 评分 60

ARC Prize 公布了 Inception 的 Mercury 3 Preview 在 ARC-AGI 三个基准上的成绩与推理成本,并给出可复现入口。

主题

标签

正文 · AI 翻译

@_inception_ai - 排行榜:https://t.co/x8U1ItNLRj - 复现公开结果:https://t.co/vMqtds8Zet - 测试政策:https://t.co/pBoUqvXe4P - Mercury 3 Preview 完整结果:https://t.co/F4A7ENPd6Q

来源

ARC Prize