AI News

ARC Prize 公布 Claude Fable 5.2 在 ARC-AGI 三项基准的验证成绩

ARC Prize更新于 11月10日 03:47

Claude Fable 5.2 from @AnthropicAI on ARC-AGI (Verified):

AI 导读

ARC Prize 公布 Anthropic 的 Claude Fable 5.2 在 ARC-AGI 上的验证成绩:ARC-AGI-3 标准 harness 下得分 81.2%、成本 $21.9K,provider adapter harness 下为 97.7%、$18.6K,并在标准 harness 下刷新 ARC-AGI-3 最高分。ARC-AGI-2 得分 93.8%、$0.98/task,ARC-AGI-1 得分 98.5%、$0.36/task。ARC Prize 还说明,max 推理档在标准 harness 下 55 个半私有游戏中有 28 个触及 12 小时运行上限,得分 65.7%,低于 xhigh 档的 81.2%。

推荐理由

AI 评分 67

ARC Prize 公布了 Claude Fable 5.2 在三个 ARC-AGI 基准上的成绩与单任务成本,并说明标准 harness 下刷新 ARC-AGI-3 最高分。

主题

标签

正文 · AI 翻译

来自 @AnthropicAI 的 Claude Fable 5.2 在 ARC-AGI(已验证)上的成绩:

- ARC-AGI-3:97.7%,$18.6K(provider adapter harness),81.2%,$21.9K(标准 harness) - ARC-AGI-2:93.8%,$0.98/任务 - ARC-AGI-1:98.5%,$0.36/任务

Fable 5.2 在标准 harness 下刷新了 ARC-AGI-3 的最高分。https://t.co/GfG8Ls7kK1

来源

ARC Prize