←事件详情

热点事件

Artificial Analysis 上线 FrontierCode 1.1 排行榜

3 篇正式报道3 条事件动态更新于 10月13日 03:32

先了解这件事

AI 综述

2026年10月,Artificial Analysis 上线了 Cognition 的 FrontierCode 1.1 独立排行榜。该基准由开源维护者共同打造,用于衡量 AI 模型对真实开源仓库的改动能否被维护者合并,即端到端代码质量与可合并性。据 Artificial Analysis 完整文章,顶尖模型仍有超 40% 概率写出维护者不愿合并的代码:Claude Opus 5.5(max with fallback)以 52% 平均分、58% 通过率居首,GPT-6.1 Sol(max)与 Claude Fable 5.1(max with fallback)以 49% 紧随,开源权重最高为 MiMo-V2.6-Pro 的 45%。每任务成本从 GPT-6 Luna(max)的 $0.09 到 Claude Fable 5.1 的 $12.00,相差逾 100 倍。Cognition 随后确认 FrontierCode 1.1 已登陆 Artificial Analysis。

AI 根据公开报道生成

最新进展 · 正式报道

Cognition FrontierCode 1.1 上线 Artificial Analysis

事件进展

1 个已确认进展

  1. Artificial Analysis 上线 FrontierCode 1.1 排行榜

    来源:Artificial Analysis 完整文章

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

10月13日

  1. Cognition一手

    Cognition FrontierCode 1.1 上线 Artificial Analysis

    FrontierCode 1.1 现已登陆 @ArtificialAnlys! FrontierCode 由开源维护者共同打造,是首个衡量端到端代码质量与可合并性的基准:维护者是否真的会合并这个 PR?

  2. Artificial Analysis

    Artificial Analysis 上线 FrontierCode 1.1 编码智能体排行榜

    Artificial Analysis 上线 FrontierCode 1.1 排行榜,该评测由 Cognition 构建,用真实开源仓库的合并标准检验编码智能体,共 150 个任务,本次运行其中 100 个主任务集,全部任务私有以避免污染。Claude Opus 5.5(max with fallback)以 52% 居首,但其尝试中仅 58% 通过阻断性检查,100 个任务中有 9 个没有任何模型通过;前九名模型分数集中在 43% 至 52%,开源权重模型 MiMo-V2.6-Pro 以 45% 领先,DeepSeek V4.1 Flash(max)和 Kimi K3(max)为 44%。GPT-6.1 Sol(max)以每任务 0.81 美元取得 49%,与 Claude Fable 5.1(max with fallback)持平,成本不到后者的十分之一。

10月12日

  1. Artificial Analysis 完整文章一手

    Artificial Analysis 上线 FrontierCode 1.1 榜单:顶尖模型仍有超 40% 概率写出维护者不愿合并的代码

    Cognition 的 FrontierCode 1.1 在 Artificial Analysis 上线独立榜单,测试 AI 模型对真实开源仓库的改动能否被维护者合并,顶尖模型失败率仍超 40%。Claude Opus 5.5(max with fallback)以 52% 平均分、58% 通过率居首,GPT-6.1 Sol(max)与 Claude Fable 5.1(max with fallback)以 49% 紧随;开源权重最高为 MiMo-V2.6-Pro 的 45%。每任务成本从 GPT-6 Luna(max)的 $0.09 到 Claude Fable 5.1 的 $12.00,相差逾 100 倍。

关联事件

  1. 相关事件Reflection发布首个开放权重模型Beam
  2. 相关事件Meta 推出 Muse Wonder 与 Muse Wonder Full 模型
  3. 相关事件Artificial Analysis公布Reflection首个模型Beam评测结果
  4. 相关事件Mistral发布一万亿参数Mistral Large 4预览版