AI News

ARC Prize 公布 Claude Fable 5.2 在 ARC-AGI 系列上的评测结果

ARC Prize更新于 11月10日 03:47

@AnthropicAI On ARC-AGI-2, Fable 5.2's 93.8% is the third-highest model score we've seen, after GPT-6 Astra's 95.0% and GPT-6.1 Sol's 94.2%.

AI 导读

ARC Prize 公布 Anthropic 的 Claude Fable 5.2 在 ARC-AGI 系列上的成绩:ARC-AGI-2 得分 93.8%,每任务成本 0.98 美元,在已见模型中排第三,低于 GPT-6 Astra 的 95.0% 和 GPT-6.1 Sol 的 94.2%。ARC-AGI-1 得分 98.5%,每任务成本 0.36 美元;ARC-AGI-3 在标准 harness 下得分 81.2%,成本 21.9K 美元,在 provider adapter harness 下得分 97.7%,成本 18.6K 美元,并在标准 harness 下创下 ARC-AGI-3 新高。ARC Prize 还说明,max 推理档在标准 harness 下有 28/55 个半私有游戏触及 12 小时运行上限,得分 65.7%,低于 xhigh 档的 81.2%。

推荐理由

AI 评分 52

ARC Prize 公布了 Claude Fable 5.2 在 ARC-AGI 三个版本上的分数与单任务成本,可横向对比其与 GPT-6 系列的差距。

主题

标签

正文

@AnthropicAI On ARC-AGI-2, Fable 5.2's 93.8% is the third-highest model score we've seen, after GPT-6 Astra's 95.0% and GPT-6.1 Sol's 94.2%.

Full results: https://t.co/yw5adRnEVb https://t.co/3SEMYJQOFh

来源

ARC Prize