AI News

ARC Prize 公布 Claude Fable 5.2 在 ARC-AGI 三项基准的验证成绩

ARC Prize更新于 11月10日 03:47

Claude Fable 5.2 from @AnthropicAI on ARC-AGI (Verified):

AI 导读

ARC Prize 公布 Anthropic 的 Claude Fable 5.2 在 ARC-AGI 上的验证成绩:ARC-AGI-3 标准 harness 下得分 81.2%、成本 $21.9K,provider adapter harness 下为 97.7%、$18.6K,并在标准 harness 下刷新 ARC-AGI-3 最高分。ARC-AGI-2 得分 93.8%、$0.98/task,ARC-AGI-1 得分 98.5%、$0.36/task。ARC Prize 还说明,max 推理档在标准 harness 下 55 个半私有游戏中有 28 个触及 12 小时运行上限,得分 65.7%,低于 xhigh 档的 81.2%。

推荐理由

AI 评分 67

ARC Prize 公布了 Claude Fable 5.2 在三个 ARC-AGI 基准上的成绩与单任务成本,并说明标准 harness 下刷新 ARC-AGI-3 最高分。

主题

标签

正文

Claude Fable 5.2 from @AnthropicAI on ARC-AGI (Verified):

- ARC-AGI-3: 97.7%, $18.6K (provider adapter harness), 81.2%, $21.9K (standard harness) - ARC-AGI-2: 93.8%, $0.98/task - ARC-AGI-1: 98.5%, $0.36/task

Fable 5.2 sets a new high score on ARC-AGI-3 in the standard harness. https://t.co/GfG8Ls7kK1

来源

ARC Prize