ARC Prize 公布 Muse Spark Open 在 ARC-AGI 上的推理扩展测试结果
@AIatMeta @baseten On public tasks, Muse Spark Open gained most on ARC-AGI-2 as reasoning scaled: medium averaged 55k tokens/task for 29.4%, high 150k for 51.0%
ARC Prize 公布 Meta 的 Muse Spark Open 在 ARC-AGI 公开任务上的测试结果:ARC-AGI-2 随推理规模提升,medium 平均每任务 55k token 得 29.4%,high 150k token 得 51.0%,xhigh 180k token 得 57.2%。ARC-AGI-1 在 high 时已达 92.8%,xhigh 升至 94.0%。该模型在 ARC-AGI-2 上得 57.5%、每任务 0.73 美元,ARC-AGI-1 得 89.0%、每任务 0.29 美元,分数与 Haiku 5.5 和 GPT-6 Luna 相近但成本约为其 9 倍。
推荐理由
AI 评分 53
原文给出 Muse Spark Open 在 ARC-AGI-2 上随推理预算提升的分数与 token 消耗,可据此判断成本与收益的取舍。
主题
正文 · AI 翻译
@AIatMeta @baseten 在公开任务上,随着推理规模扩大,Muse Spark Open 在 ARC-AGI-2 上的提升最大:medium 平均每任务 55k token,得 29.4%;high 150k token,得 51.0%;xhigh 180k token,得 57.2%。ARC-AGI-1 在 high 时已达 92.8%,xhigh 升至 94.0%。https://t.co/SEZU8mNtMv