ARC Prize 公布 Mercury 3 Preview 在 ARC-AGI 上的评测结果
@_inception_ai - Leaderboard: https://t.co/x8U1ItNLRj
AI 导读
ARC Prize 公布 Inception 的 Mercury 3 Preview 在 ARC-AGI 上的评测结果:ARC-AGI-1 得分 88.5%,每任务 0.03 美元;ARC-AGI-2 得分 61.8%,每任务 0.06 美元;ARC-AGI-3 得分 0.2%,每任务 299 美元(provider adapter)或 0.1%、333 美元(standard)。这是 ARC Prize 评测的首个扩散模型,instant reasoning effort 下在 ARC-AGI-2 公开数据集上平均 981 output tokens/秒,单次调用峰值 1,743 tokens/秒;开启推理后平均 500-600 tokens/秒。ARC Prize 同时给出排行榜、复现方式和测试政策链接。
推荐理由
精选AI 评分 60
ARC Prize 公布了 Inception 的 Mercury 3 Preview 在 ARC-AGI 三个基准上的成绩与推理成本,并给出可复现入口。
主题
正文
@_inception_ai - Leaderboard: https://t.co/x8U1ItNLRj - Reproduce the public results: https://t.co/vMqtds8Zet - Testing policy: https://t.co/pBoUqvXe4P - Full Mercury 3 Preview results: https://t.co/F4A7ENPd6Q
AI 热点