AI 热点

ARC Prize 公布 GPT-6.2 Astra 在 ARC-AGI 上的评测结果

ARC Prize更新于 11月18日 02:31

@OpenAI On the ARC-AGI-3 semi-private games with the provider adapter harness, GPT-6.2 Astra used reasoning on a smaller share of actions than GPT-6 Astra at ev

AI 导读

ARC Prize 公布 OpenAI GPT-6.2 Astra 在 ARC-AGI 系列基准上的结果:ARC-AGI-3 达到 100.0%(SOTA),使用 provider adapter 成本为 $4.1K,标准方式为 70.3%、$24.2K;ARC-AGI-2 为 95.8%、$0.50/task,ARC-AGI-1 为 98.5%、$0.17/task。ARC Prize 称这是首个在 ARC-AGI-3 上取得 100% 分数的模型。在 25 个 ARC-AGI-3 公开游戏、max reasoning 设置下,GPT-6.2 Astra 使用的动作数比人类基线少 64.1%,比 GPT-6 Astra 少 5.2%;在 ARC-AGI-2 半私有任务 low 到 xhigh 档位,其推理 token 用量比前代少 51%,max 档位则多 12%。

推荐理由

精选AI 评分 73

ARC Prize 给出 GPT-6.2 Astra 在 ARC-AGI 三个基准上的分数与成本,并对比前代在推理 token 用量上的差异。

主题

标签

正文 · AI 翻译

@OpenAI 在 ARC-AGI-3 半私有游戏上,使用 provider adapter harness 时,GPT-6.2 Astra 在每一档 effort 下,采取推理动作的比例都低于 GPT-6 Astra:https://t.co/SE31IIKn9o

来源

ARC Prize