ARC Prize 实测 Mercury 3 Preview 推理档位与 token 消耗
@_inception_ai We also observed that on ARC-AGI-1 and ARC-AGI-2 tasks, low and medium reasoning used a similar number of reasoning tokens. On ARC-AGI-1 public t
ARC Prize 在 ARC-AGI-1 和 ARC-AGI-2 任务上观察到,Mercury 3 Preview 的低与中等推理档位消耗的推理 token 数量相近。在 ARC-AGI-1 公开任务上,两档平均每任务各用 31k 推理 token,得分分别为 89.50% 和 89.25%。此前 ARC Prize 公布 Mercury 3 Preview 在 ARC-AGI-2 得分 61.8%、每任务成本 $0.06,ARC-AGI-1 得分 88.5%、每任务成本 $0.03。
推荐理由
AI 评分 53
ARC Prize 对 Mercury 3 Preview 的实测显示,低与中等推理档位消耗的推理 token 相近、得分几乎持平,可据此理解推理档位与 token 消耗的关系。
主题
正文
@_inception_ai We also observed that on ARC-AGI-1 and ARC-AGI-2 tasks, low and medium reasoning used a similar number of reasoning tokens. On ARC-AGI-1 public tasks, for example, both averaged 31k reasoning tokens per task and scored 89.50% and 89.25%, respectively. https://t.co/L4LIjveyHK
AI 热点