ARC Prize 实测 Inception AI 的 Mercury 3 Preview…
@_inception_ai With reasoning enabled, Mercury 3 Preview averaged 500-600 tokens per second: https://t.co/1bHNxkjFZh
AI 导读
ARC Prize 在 ARC-AGI 基准上实测了 Inception AI 的 Mercury 3 Preview:ARC-AGI-2 得分 61.8%、每任务成本 $0.06,ARC-AGI-1 得分 88.5%、每任务成本 $0.03,ARC-AGI-3 仅 0.2%。开启 instant 推理档时,该模型在 ARC-AGI-2 公开数据集上平均输出 981 tokens/秒,单次调用峰值 1,743 tokens/秒(1.72 秒输出 3,001 tokens);开启推理后平均为 500-600 tokens/秒。ARC Prize 称这是其评测的首个扩散模型。
推荐理由
AI 评分 55
ARC Prize 对 Mercury 3 Preview 的实测给出了各档推理下的分数与吞吐数据,可对照其速度与准确率的取舍。
主题
正文
@_inception_ai With reasoning enabled, Mercury 3 Preview averaged 500-600 tokens per second: https://t.co/1bHNxkjFZh
AI 热点