ARC Prize 公布 Anthropic Haiku 5.5 在 ARC-AGI 上的评测结果
@AnthropicAI On ARC-AGI-2, we omitted max reasoning because it completed only 74 of 120 tasks, with many incomplete attempts failing to return parseable answers
AI 导读
ARC Prize 公布 Anthropic Haiku 5.5 在 ARC-AGI 上的评测结果：ARC-AGI-3 为 2.8%、成本 437 美元（provider adapter harness），标准 harness 下为 0.5%、388 美元；ARC-AGI-2 为 61.3%，每任务 0.085 美元；ARC-AGI-1 为 89.0%，每任务 0.051 美元。ARC Prize 表示在 ARC-AGI-2 上省略了 max reasoning 档位，因为它只完成 120 个任务中的 74 个，许多未完成的尝试在耗尽输出预算前未能返回可解析的答案。
推荐理由
AI 评分 51
ARC Prize 公布了 Haiku 5.5 在 ARC-AGI 三个版本上的成绩与单任务成本，并解释了为何省略 max reasoning 档位。
主题
正文
当前显示原文，中文全文译文尚未就绪。
@AnthropicAI On ARC-AGI-2, we omitted max reasoning because it completed only 74 of 120 tasks, with many incomplete attempts failing to return parseable answers before exhausting the output budget.