AI 热点

ARC Prize 公布 Mercury 3 Preview 在 ARC-AGI 上的评测结果

ARC Prize更新于 11月17日 23:22

@_inception_ai With instant reasoning effort (which used no reasoning tokens), Mercury 3 Preview averaged 981 output tokens/second on the ARC-AGI-2 public datas

AI 导读

ARC Prize 公布 Inception AI 的 Mercury 3 Preview 在 ARC-AGI 上的评测结果:ARC-AGI-2 得分 61.8%、每任务 0.06 美元,ARC-AGI-1 得分 88.5%、每任务 0.03 美元,ARC-AGI-3 仅 0.2%。在 instant 推理档位下不使用推理 token,该模型在 ARC-AGI-2 公开数据集上平均输出 981 tokens/秒,单次调用峰值 1,743 tokens/秒(1.72 秒输出 3,001 tokens);开启推理后平均为 500-600 tokens/秒。ARC Prize 称这是其评测的首个扩散模型。

推荐理由

精选AI 评分 67

ARC Prize 公布了 Mercury 3 Preview 在 ARC-AGI 各版本上的得分与单任务成本,并给出不同推理档位下的吞吐差异。

主题

标签

正文 · AI 翻译

@_inception_ai 在即时推理档位下(该档位不使用任何推理 token),Mercury 3 Preview 在 ARC-AGI-2 公开数据集上平均输出 981 tokens/秒,单次调用峰值达 1,743 tokens/秒(1.72 秒内输出 3,001 tokens)。https://t.co/xCdOMAz6sO

来源

ARC Prize