←事件详情

热点事件

ARC Prize称三个ARC-AGI基准分数呈自然递进关系

2 篇正式报道2 条事件动态更新于 10月29日 00:05

先了解这件事

事件摘要

还没有公开综述,先看下面的报道时间线。

最新进展 · 正式报道

ARC Prize:ARC-AGI 三代基准呈自然递进

事件进展

1 个已确认进展

  1. ARC Prize称三个ARC-AGI基准分数呈自然递进关系

    来源:ARC Prize

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

10月29日

  1. ARC Prize一手

    ARC Prize:ARC-AGI 三代基准呈自然递进

    ARC Prize 表示,ARC-AGI-1、ARC-AGI-2 与 ARC-AGI-3 之间的关系呈现出一种自然的递进,未来基准将继续帮助衡量进展并区分能力越来越强的模型。该线程还提到,ARC-AGI-2 与 ARC-AGI-3 的得分存在相似关系,其中 Gemini 4 Argon 在低推理设置下是一个明显的例外:ARC-AGI-2 仅 42.1%,ARC-AGI-3 达 97.5%。

  2. ARC Prize一手

    ARC Prize:ARC-AGI 三项基准分数强相关

    ARC Prize 绘制 ARC-AGI 模型得分后发现,三项基准之间存在强关联:幂曲线 v2 = v1^4.53 可解释约 98% 的 ARC-AGI-2 得分变化,在 ARC-AGI-1 上持平的模型,在 ARC-AGI-2 上仍可能相差超过 20 个百分点。ARC-AGI-3 上也有类似趋势,但 Gemini 4 Argon 低推理档是明显例外:ARC-AGI-2 仅 42.1%,ARC-AGI-3 却达 97.5%。

关联事件

  1. 相关事件Cognition推出编码基准FrontierCode 2.0
  2. 相关事件Kimi官方账号发布Kimi K3.1预热视频
  3. 相关事件OpenAI在ChatGPT Work和Codex上线GPT-6.1 Terra
  4. 相关事件Sakana AI发布美国中期选举SNS分析报告