ARC Prize 公布 Claude Fable 5.2 在 ARC-AGI 上的评测结果
@AnthropicAI - Leaderboard: https://t.co/x8U1ItNLRj
ARC Prize 公布 Anthropic 的 Claude Fable 5.2 在 ARC-AGI 系列基准上的成绩:ARC-AGI-3 标准 harness 下得分 81.2%、成本 21.9K 美元,provider adapter harness 下为 97.7%、18.6K 美元;ARC-AGI-2 为 93.8%、每任务 0.98 美元,ARC-AGI-1 为 98.5%、每任务 0.36 美元。ARC Prize 称 Fable 5.2 在标准 harness 下刷新 ARC-AGI-3 最高分,其 ARC-AGI-2 的 93.8% 是已见模型第三高,仅次于 GPT-6 Astra 的 95.0% 和 GPT-6.1 Sol 的 94.2%。在 max 推理档位加标准 harness 时,55 个半私有游戏中有 28 个触及 12 小时运行上限,得分 65.7%,低于 xhigh 档的 81.2%;已发布的 Fable 5.2 在 medium 和 xhigh 档的调优与此前评测的 checkpoint 不同,low、high、max 档未变。
推荐理由
精选AI 评分 60
ARC Prize 给出 Claude Fable 5.2 在 ARC-AGI 三代基准上的分数与单任务成本,并说明推理档位与运行时限对结果的影响。
主题
正文
@AnthropicAI - Leaderboard: https://t.co/x8U1ItNLRj - Reproduce the public results: https://t.co/vMqtds8Zet - Testing policy: https://t.co/pBoUqvXe4P - Full Claude Fable 5.2 results: https://t.co/yw5adRnEVb