←新闻详情

ARC Prize更新于 10月30日 14:35

ARC Prize 公布 Meta Muse Spark Open 在 ARC-AGI 各版本的评测成绩

@AIatMeta @baseten - Leaderboard: https://t.co/x8U1ItNLRj

AI 导读

ARC Prize 公布 Meta Muse Spark Open 在 ARC-AGI 上的验证成绩:ARC-AGI-1 为 89.0%、每任务 $0.29,ARC-AGI-2 为 57.5%、每任务 $0.73,ARC-AGI-3 在 provider adapter harness 下为 0.4%、$3.0K,标准 harness 下为 0.1%、$3.9K。ARC Prize 称其在 v1/v2 上的分数与 Haiku 5.5、GPT-6 Luna 相近,但成本约为后者的 9 倍;该模型在 OpenRouter 上定价为每百万输入 $1.25、每百万输出 $4.25,而 Haiku 5.5 与 GPT-6 Luna 均为每百万输入 $0.10、每百万输出 $0.50。在公开任务上,随着推理规模提升,ARC-AGI-2 的得分从 medium 档平均 55k token/任务对应 29.4%,升到 high 档 150k 对应 51.0%,再到 xhigh 档 180k 对应 57.2%;ARC-AGI-1 在 high 档已达 92.8%,xhigh 档升至 94.0%。

推荐理由

AI 评分 52

ARC Prize 公布了 Meta 新模型在 ARC-AGI 三个版本上的分数与成本,可与同分竞品的价格直接对照。

主题

标签

正文

@AIatMeta @baseten - Leaderboard: https://t.co/x8U1ItNLRj - Reproduce the public results: https://t.co/vMqtds8Zet - Testing policy: https://t.co/pBoUqvXe4P - Full Muse Spark Open results: https://t.co/MHQYZ73Nyw

来源

ARC Prize