←事件详情

热点事件

Cognition推出编码基准FrontierCode 2.0

15 篇正式报道1 条相关讨论16 条事件动态更新于 10月30日 12:45

先了解这件事

AI 综述

2026年10月28日,Cognition推出编程基准FrontierCode 2.0,用于评估模型产出的代码能否真正合并,最高分的Opus 5.5也仅得45%,基准远未饱和。据Cognition博客,相比1.1版本,参考解平均多改67%的文件、89%的代码行,代码库规模大25%,任务覆盖仓库增加55%、阻断性评分标准增加43%;DeepSeek V4.1 Flash从43.9%降至19.3%,Kimi K3从44.2%降至17.7%。同日,Artificial Analysis发布Intelligence Index v5,将FrontierCode 2.0列为新增基准之一,60%评测基于私有测试集或留出答案,Claude Opus 5.5(max)以58分居首。

AI 根据公开报道生成

最新进展 · 正式报道

Google 发布 Gemini 4 Carbon，Artificial Analysis 榜单以 59 分登顶

事件进展

3 个已确认进展

  1. Cognition在FrontierCode 2.0上评测Gemini 4 Carbon与Argon

    来源：Cognition

  2. Cognition推出编码基准FrontierCode 2.0

    来源：Cognition 模型 / Devin 博客

  3. Artificial Analysis发布Intelligence Index v5

    来源：Artificial Analysis 完整文章

报道与讨论时间线

按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。

10月30日

  1. cnBeta

    Google 发布 Gemini 4 Carbon，Artificial Analysis 榜单以 59 分登顶

    Google 发布 Gemini 4 Carbon，在 Artificial Analysis Intelligence Index v5.0 榜单拿下 59 分，超过 Claude Opus 5.5 的 58 分和 GPT-6 Astra 的 57 分。该模型在 SEC-bench Pro、ExploitGym、CWE-bench 分别取得 88.2%、54.8% 和 71.0%，谷歌称其可连续数天处理大型代码库中的工程问题。该模型本周先向部分网络安全防御人员开放，再通过 Fairwind Program 扩大至可信合作伙伴，普通用户暂无时间表；首发定价为每百万输入 Token 2 美元、输出 10 美元。

  2. Teortaxes相关讨论

    Teortaxes 参与了这场讨论

    原帖参与热度计算，不等同于正式报道或已确认事实。

  3. Artificial Analysis

    Artificial Analysis 发布 HLE-Diamond 榜单

    Artificial Analysis 在 Intelligence Index v5 中上线 HLE-Diamond 榜单，独立评测 CAIS 与 Scale AI 精炼后的 1000 题版 Humanity's Last Exam。仅 17 个模型变体（约 13%）得分超过 50%，Gemini 4 Carbon (high) 以 69% 居首，Claude Opus 5.5 (max) 以 68% 紧随。开源权重模型最高为 Kimi K3.1 Pro 的 37%，落后逾 30 分。

  4. Cognition一手

    Cognition 公布 Gemini 4 双版本 FrontierCode 2.0 成绩

    Cognition 在自研编程基准 FrontierCode 2.0 上评测了 Gemini 4 Carbon 与 Gemini 4 Argon。Gemini 4 Carbon 得分 40%，接近 SOTA，每任务成本 $4.04，落后于 Claude Opus 5.5、GPT-6 Astra 和 Claude Sonnet 5.5；Gemini 4 Argon 得分 26.3%，每任务成本 $6.41，领先 Muse Wonder 1.0，但落后于 Claude Haiku 5.5 和 Grok 4.7。

  5. Artificial Analysis

    Artificial Analysis 发布 Intelligence Index v5 与 Progress…

    Artificial Analysis 在旧金山发布 Intelligence Index v5 和新的 Progress Index。Intelligence Index v5 新增两项基准、三项升级，加大了对智能体编码和科学的权重，并且首次让指数的大部分基于私有测试集或留出答案。Progress Index 使用项目反应理论，在数十项随时间测量的评测上为每个模型估算通用能力分数，包括已退役或被排除在 Intelligence Index 之外的评测，它建立在 Epoch AI Research 和 Anthropic 此前工作的基础上，把模型放在单一能力尺度上。官方表示 Intelligence Index 仍是选择当下用哪个模型的旗舰指标，Progress Index 更适合描绘长期趋势。

  6. Artificial Analysis

    Artificial Analysis 发布 Progress Index…

    Artificial Analysis 发布 Progress Index，并同步推出 Intelligence Index v5。Progress Index 用项目反应理论，从全部评测（含已退役或未纳入 Intelligence Index 的任务）中为每个模型估算一个通用能力分，用于跨时间比较；Intelligence Index 仍用于衡量当前模型智能水平。其数据显示，推理模型出现后前沿每年提升约 65 至 70 分，约为 2023 年速度的两倍；开源权重模型通常比闭源模型落后约 4 个月，DeepSeek V4.1 Flash 1017 以 324 分居开源权重最高。

10月29日

  1. heise online

    Artificial Analysis 发布 Intelligence Index v5，六成任务改为不公开

    独立基准测试机构 Artificial Analysis 更新主指数至 Intelligence Index v5，该指数综合九项基准测试结果，并首次采用 60% 不公开任务，以降低模型针对公开题目过拟合的影响。新增的两项测试是包含 70 个智能体科学任务的 Terminal-Bench-Science 和 Cognition 近期推出的 FrontierCode 2.0，后者考察真实编程任务中仓库维护者是否会采纳智能体的改动；Humanity's Last Exam Diamond、AA-Omniscience v1.1 和 CritPt v2 得到升级，GDPval-AA v2.1、SciCode 和 AA-LCR v1.1 被移除。测试调整后排名发生变化，Claude Opus 5.5 一度领先，随后被发布不久的 Gemini 4 Carbon 超越，Grok 4.7 与 Kimi K3.1 Pro 得分下滑，最强开源模型与榜首的差距从 3 分扩大到 12 分。原文也指出，不公开基准无法由外部复核，潜在错误难以被发现。

  2. The Rundown AI

    Google 发布 Gemini 4 Carbon，17 项基准中登顶 15 项

    Google 发布面向网络安全与长时编码任务的前沿模型 Gemini 4 Carbon，在 Google 自家 17 项基准中登顶 15 项，但尚未公开，仅向部分网络安全防御人员开放。其在 Artificial Analysis 的 Intelligence Index 上得 59 分，超过 Claude Opus 5.5，比四周前的 Argon 提升 9 分；在长输入推理上领先 OpenAI Astra 和 Opus 24 分。API 介绍价为每百万 token 输入 2 美元、输出 10 美元，为 Opus 5.5 的一半，折扣期后翻倍至 Opus 的费率。Google 未公布扩大开放的时间。

10月28日

  1. Latent Space

    Anthropic 取消编程面试：Felix Reiseberg 称"Hunger beats tenure

    Anthropic 招聘经理 Felix Reiseberg 宣布不再用传统编程面试考察候选人，理由是 Claude 在 React 挑战和汇编题上都已强于人，真正有影响力的构建者不靠这类测试取胜。他建议初级工程师选能带来业务影响的想法、周末做出可运行原型、只聚焦一个好点子，并发挥对用户的新鲜视角。同日 Google DeepMind 发布 Genie 4 世界模型，Artificial Analysis Intelligence Index v5 榜首为 Claude Opus 5.5（58 分）。

  2. Testing Catalog

    Artificial Analysis Intelligence Index v5 上线，Claude…

    Artificial Analysis Intelligence Index v5 上线，包含 2 个新基准和 3 项升级，其中 60% 基于私有测试集或留出答案。Claude Opus 5.5（max）以 58 分居首，GPT-6 Astra（max）57 分、GPT-6.1 Sol（max）55 分紧随其后，Gemini 4 Argon（high）以 50 分排在后面。开源权重模型与榜首差距从 3 分扩大到 12 分，已发布权重中 DeepSeek V4.1 Flash 1017（max）和 GLM-5.3（max）以 32 分领先。

  3. Ethan Mollick

    Ethan Mollick 转述 Artificial Analysis 新基准：开源权重模型落后幅度扩大

    Ethan Mollick 引用 Artificial Analysis 的 v5 基准结果指出，开源权重模型落后的幅度比此前测得的更大，并称这与业界尚未出现 Fable 级开源模型的普遍感受一致。Artificial Analysis 的数据显示，榜首 Kimi K3.1 Pro（权重尚未发布）得分 46，落后领先者 12 分，而 v4.3 时差距为 3 分；已发布权重的模型中 DeepSeek V4.1 Flash 1017（max）和 GLM-5.3（max）最高为 32 分，Claude Haiku 5.5（max）得分高于它们。差距在 HLE-Diamond 和 Terminal-Bench-Science 上最大，Kimi K3.1 Pro 分别为 37% 和 34%，Claude Opus 5.5（max）为 68%，GPT-6 Astra（max）为 63%。

  4. Artificial Analysis精选

    Artificial Analysis 发布 Intelligence Index v5，60% 评测基于私有数据集

    Artificial Analysis 发布 Intelligence Index v5，新增 FrontierCode 2.0 和 Terminal-Bench-Science 两个基准，升级 HLE-Diamond、AA-Omniscience v1.1 和 CritPt v2，移除 GDPval-AA v2.1、SciCode 和 AA-LCR v1.1，60% 的指数改为基于私有测试集或留出答案的评测。同时推出 Progress Index v1，用统一尺度追踪模型能力随时间的变化。结果显示 Claude Opus 5.5（max）以 58 分居首，GPT-6 Astra（max，57）和 GPT-6.1 Sol（max，55）紧随，Gemini 4 Argon（high）为 50 分；开源权重模型与领先者的差距从 3 分扩大到 12 分，已发布权重中 DeepSeek V4.1 Flash 1017（max）和 GLM-5.3（max）以 32 分领先。前十名模型单任务成本相差超过 13 倍，GPT-6.1 Terra（max）最低为 $0.96，Claude Fable 5.1（max）最高为 $13.04。

  5. Artificial Analysis 完整文章一手精选

    Gemini 4 Carbon 登顶 Artificial Analysis Intelligence Index v5

    Google 的 Gemini 4 Carbon 在 Artificial Analysis Intelligence Index v5 上以 59 分排名第一，在 9 项评测中的 HLE-Diamond、Terminal-Bench-Science、AA-Omniscience、AutomationBench-AA 四项领先。在 Coding Agent Index 上，搭配 Antigravity CLI 的 Gemini 4 Carbon（high）得 59 分，落后 Claude Code 搭配 Claude Opus 5.5（max，62 分）3 分。该模型上下文窗口为 1M tokens，支持文本、图像、视频和语音输入，标准定价为每百万输入/输出 tokens 4/20 美元，目前向部分用户开放并提供 50% 折扣。

  6. Cognition一手

    Cognition 发布 FrontierCode 2.0 编程基准，最高分仅 45%

    Cognition 推出 FrontierCode 2.0 编程基准，考察模型能否超越规格、做出该不该合并 PR 的判断。新版本任务更多样、范围更大、合并标准更高，并刻意使用欠明确的提示词，让模型展示判断力。该基准远未饱和，最高分模型仅得 45%。

  7. Cognition 模型 / Devin 博客一手

    Cognition 发布 FrontierCode 2.0 编程基准：Opus 5.5 仅得 45%

    Cognition 推出 FrontierCode 2.0 编程基准，用于评估模型产出代码能否真正合并，最高分的 Opus 5.5 也仅得 45%，基准远未饱和。相比 1.1 版本，参考解平均多改 67% 的文件、89% 的代码行，代码库规模大 25%，任务覆盖仓库增加 55%、阻断性评分标准增加 43%。DeepSeek V4.1 Flash 从 43.9% 降至 19.3%，Kimi K3 从 44.2% 降至 17.7%，开源模型尤其是西方开源模型仍有明显提升空间。

10月27日

  1. Artificial Analysis 完整文章一手

    Artificial Analysis 发布 Intelligence Index v5，60% 评测改用私有数据集

    Artificial Analysis 发布 Intelligence Index v5，新增 FrontierCode 2.0 和 Terminal-Bench-Science 两项基准，升级 HLE-Diamond、AA-Omniscience v1.1 和 CritPt v2，60% 的评测基于私有测试集或留出答案。Claude Opus 5.5（max）以 58 分居首，GPT-6 Astra（max）57 分、GPT-6.1 Sol（max）55 分紧随其后，Gemini 4 Argon（high）50 分。开源权重模型与领先者的差距从 3 分扩大到 12 分，已发布权重的 DeepSeek V4.1 Flash 1017（max）和 GLM-5.3（max）均为 32 分；领先模型单任务成本相差超过 13 倍，GPT-6.1 Terra（max）为 $0.96，Claude Fable 5.1（max）为 $13.04。同时发布 Progress Index v1，将 2022 年 11 月以来发布的模型放在同一能力尺度上比较。

本事件热度走势

当前
5
区间峰值
48 10月30日 16:00
近 24 小时变化
-76%

移动指针或点击图表可查看每小时热度；键盘可用左右方向键切换。

关联事件

  1. 相关事件Meta 推出 Muse Wonder 与 Muse Wonder Full 模型
  2. 相关事件Reflection发布首个开放权重模型Beam
  3. 相关事件Kimi官方账号发布Kimi K3.1预热视频
  4. 相关事件Mistral在Hugging Face发布Large 4权重