ARC Prize 公布 Claude Fable 5.2 在 ARC-AGI 三项基准的验证成绩
Claude Fable 5.2 from @AnthropicAI on ARC-AGI (Verified):
AI 导读
ARC Prize 公布 Anthropic 的 Claude Fable 5.2 在 ARC-AGI 上的验证成绩:ARC-AGI-3 标准 harness 下得分 81.2%、成本 $21.9K,provider adapter harness 下为 97.7%、$18.6K,并在标准 harness 下刷新 ARC-AGI-3 最高分。ARC-AGI-2 得分 93.8%、$0.98/task,ARC-AGI-1 得分 98.5%、$0.36/task。ARC Prize 还说明,max 推理档在标准 harness 下 55 个半私有游戏中有 28 个触及 12 小时运行上限,得分 65.7%,低于 xhigh 档的 81.2%。
推荐理由
AI 评分 67
ARC Prize 公布了 Claude Fable 5.2 在三个 ARC-AGI 基准上的成绩与单任务成本,并说明标准 harness 下刷新 ARC-AGI-3 最高分。
主题
正文 · AI 翻译
来自 @AnthropicAI 的 Claude Fable 5.2 在 ARC-AGI(已验证)上的成绩:
- ARC-AGI-3:97.7%,$18.6K(provider adapter harness),81.2%,$21.9K(标准 harness) - ARC-AGI-2:93.8%,$0.98/任务 - ARC-AGI-1:98.5%,$0.36/任务
Fable 5.2 在标准 harness 下刷新了 ARC-AGI-3 的最高分。https://t.co/GfG8Ls7kK1