ARC Prize 评测:Grok 4.7 在 ARC-AGI-2 得分 61.4%,低于 Grok 4.6 的 67.1%
@SpaceXAI On ARC-AGI-2, Grok 4.7's best score is 61.4% at $2.01/task, compared to Grok 4.6's 67.1% at $0.76/task, a 166% increase in cost per task despite ident
ARC Prize 公布 Grok 4.7 在 ARC-AGI 系列基准上的成绩:ARC-AGI-2 最佳得分 61.4%、每任务 2.01 美元,低于 Grok 4.6 的 67.1% 和每任务 0.76 美元,在输入输出 token 定价相同的情况下单任务成本上升 166%;ARC-AGI-1 为 90.2%、每任务 0.64 美元,高于 Grok 4.6;ARC-AGI-3 在标准 harness 下为 1.8%,在新的 provider adapter harness 下为 10.0%。ARC Prize 指出 Grok 4.7 在 ARC-AGI-2 semi-private 任务上消耗的推理 token 更多,medium、high、xhigh 档分别比 Grok 4.6 多 136%、125% 和 173%,low 档少 27%,这是单任务成本上升的原因之一。
推荐理由
AI 评分 58
ARC Prize 给出 Grok 4.7 与 4.6 在 ARC-AGI 三个基准上的分数与单任务成本对比,可看到版本升级在推理 token 消耗上的取舍。
主题
正文
当前显示原文,中文全文译文尚未就绪。
@SpaceXAI On ARC-AGI-2, Grok 4.7's best score is 61.4% at $2.01/task, compared to Grok 4.6's 67.1% at $0.76/task, a 166% increase in cost per task despite identical input and output token pricing.