←新闻详情

ARC Prize更新于 10月15日 01:43

ARC Prize 公布 Anthropic Haiku 5.5 的 ARC-AGI 评测成绩

Haiku 5.5 from @AnthropicAI on ARC-AGI (Verified):

AI 导读

ARC Prize 公布 Anthropic Haiku 5.5 在 ARC-AGI 系列基准上的成绩:ARC-AGI-3 为 2.8%(provider adapter harness,$437)和 0.5%(standard harness,$388),ARC-AGI-2 为 61.3%、每任务 $0.085,ARC-AGI-1 为 89.0%、每任务 $0.051。ARC Prize 称 Haiku 5.5 在 Anthropic 小模型档位中表现有竞争力。ARC-AGI-2 评测未采用 max reasoning,因为该设置只完成 120 个任务中的 74 个,许多未完成尝试在耗尽输出预算前未能返回可解析答案。

推荐理由

精选AI 评分 60

ARC Prize 公布 Haiku 5.5 在 ARC-AGI 三代基准上的成绩与单任务成本,可据此判断小模型档位的推理性价比。

主题

标签

正文

当前显示原文,中文全文译文尚未就绪。

Haiku 5.5 from @AnthropicAI on ARC-AGI (Verified):

- ARC-AGI-3: 2.8%, $437 (provider adapter harness); 0.5%, $388 (standard harness) - ARC-AGI-2: 61.3%, $0.085/task - ARC-AGI-1: 89.0%, $0.051/task

Haiku 5.5 delivers competitive performance for Anthropic's small-model tier. https://t.co/W7MrXZsSng

来源

ARC Prize