先了解这件事
2026年10月,Artificial Analysis 上线了 Cognition 的 FrontierCode 1.1 独立排行榜。该基准由开源维护者共同打造,用于衡量 AI 模型对真实开源仓库的改动能否被维护者合并,即端到端代码质量与可合并性。据 Artificial Analysis 完整文章,顶尖模型仍有超 40% 概率写出维护者不愿合并的代码:Claude Opus 5.5(max with fallback)以 52% 平均分、58% 通过率居首,GPT-6.1 Sol(max)与 Claude Fable 5.1(max with fallback)以 49% 紧随,开源权重最高为 MiMo-V2.6-Pro 的 45%。每任务成本从 GPT-6 Luna(max)的 $0.09 到 Claude Fable 5.1 的 $12.00,相差逾 100 倍。Cognition 随后确认 FrontierCode 1.1 已登陆 Artificial Analysis。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源:Artificial Analysis 完整文章
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
10月13日
Cognition一手
Cognition FrontierCode 1.1 上线 Artificial Analysis
FrontierCode 1.1 现已登陆 @ArtificialAnlys! FrontierCode 由开源维护者共同打造,是首个衡量端到端代码质量与可合并性的基准:维护者是否真的会合并这个 PR?
Artificial Analysis
Artificial Analysis 上线 FrontierCode 1.1 编码智能体排行榜
Artificial Analysis 上线 FrontierCode 1.1 排行榜,该评测由 Cognition 构建,用真实开源仓库的合并标准检验编码智能体,共 150 个任务,本次运行其中 100 个主任务集,全部任务私有以避免污染。Claude Opus 5.5(max with fallback)以 52% 居首,但其尝试中仅 58% 通过阻断性检查,100 个任务中有 9 个没有任何模型通过;前九名模型分数集中在 43% 至 52%,开源权重模型 MiMo-V2.6-Pro 以 45% 领先,DeepSeek V4.1 Flash(max)和 Kimi K3(max)为 44%。GPT-6.1 Sol(max)以每任务 0.81 美元取得 49%,与 Claude Fable 5.1(max with fallback)持平,成本不到后者的十分之一。
10月12日
Artificial Analysis 完整文章一手
Artificial Analysis 上线 FrontierCode 1.1 榜单:顶尖模型仍有超 40% 概率写出维护者不愿合并的代码
Cognition 的 FrontierCode 1.1 在 Artificial Analysis 上线独立榜单,测试 AI 模型对真实开源仓库的改动能否被维护者合并,顶尖模型失败率仍超 40%。Claude Opus 5.5(max with fallback)以 52% 平均分、58% 通过率居首,GPT-6.1 Sol(max)与 Claude Fable 5.1(max with fallback)以 49% 紧随;开源权重最高为 MiMo-V2.6-Pro 的 45%。每任务成本从 GPT-6 Luna(max)的 $0.09 到 Claude Fable 5.1 的 $12.00,相差逾 100 倍。