←新闻详情

ARC Prize更新于 10月30日 14:36

ARC Prize:ARC-AGI 三项基准分数强相关

Plotting ARC-AGI model scores reveals a strong relationship across all three benchmarks.

AI 导读

ARC Prize 绘制 ARC-AGI 模型得分后发现,三项基准之间存在强关联:幂曲线 v2 = v1^4.53 可解释约 98% 的 ARC-AGI-2 得分变化,在 ARC-AGI-1 上持平的模型,在 ARC-AGI-2 上仍可能相差超过 20 个百分点。ARC-AGI-3 上也有类似趋势,但 Gemini 4 Argon 低推理档是明显例外:ARC-AGI-2 仅 42.1%,ARC-AGI-3 却达 97.5%。

正文 · AI 翻译

绘制 ARC-AGI 模型得分后发现,三项基准之间存在强关联。

例如,幂曲线 v2 = v1^4.53 可解释约 98% 的 ARC-AGI-2 得分变化。在 ARC-AGI-1 上持平的模型,在 ARC-AGI-2 上仍可能相差超过 20 个百分点。https://t.co/7uG7hNXAwo

来源

ARC Prize