AI 热点

ARC Prize 实测 Inception AI 的 Mercury 3 Preview…

ARC Prize更新于 11月17日 23:22

@_inception_ai With reasoning enabled, Mercury 3 Preview averaged 500-600 tokens per second: https://t.co/1bHNxkjFZh

AI 导读

ARC Prize 在 ARC-AGI 基准上实测了 Inception AI 的 Mercury 3 Preview:ARC-AGI-2 得分 61.8%、每任务成本 $0.06,ARC-AGI-1 得分 88.5%、每任务成本 $0.03,ARC-AGI-3 仅 0.2%。开启 instant 推理档时,该模型在 ARC-AGI-2 公开数据集上平均输出 981 tokens/秒,单次调用峰值 1,743 tokens/秒(1.72 秒输出 3,001 tokens);开启推理后平均为 500-600 tokens/秒。ARC Prize 称这是其评测的首个扩散模型。

推荐理由

AI 评分 55

ARC Prize 对 Mercury 3 Preview 的实测给出了各档推理下的分数与吞吐数据,可对照其速度与准确率的取舍。

主题

标签

正文 · AI 翻译

@_inception_ai 在开启推理的情况下,Mercury 3 Preview 平均每秒处理 500-600 个 token:https://t.co/1bHNxkjFZh

来源

ARC Prize