←News detail

cnBetaUpdated Oct 30 14:45

Google releases Gemini 4 Carbon, tops the Artificial Analysis leaderboard with 59 points

English text is being prepared.

AI summary

Google released Gemini 4 Carbon, which scored 59 points on the Artificial Analysis Intelligence Index v5.0 leaderboard, surpassing Claude Opus 5.5's 58 points and GPT-6 Astra's 57 points. The model achieved 88.2%, 54.8%, and 71.0% on SEC-bench Pro, ExploitGym, and CWE-bench, respectively, and Google says it can handle engineering problems in large codebases continuously for several days. The model this week is first being made available to some cybersecurity defenders, then expanded to trusted partners through the Fairwind Program, with no timeline yet for general users; initial pricing is $2 per million input tokens and $10 per million output tokens.

Why read this

AI score 75

The original text lists the new model's specific scores on the comprehensive leaderboard and cybersecurity benchmarks, and explains the phased rollout and pricing arrangements.

Topics

Tags

Body

按照官方公布的数据,Gemini 4 Carbon 在最新 Artificial Analysis Intelligence Index v5.0 榜单中拿下 59 分,超越 Claude Opus 5.5 和 GPT-6 Astra,登上全球大模型榜首。

更惊人的是,Gemini 4 Carbon 已经能连续数天处理复杂工程任务,自主寻找、验证并修复软件安全漏洞,在多项网络安全基准测试中刷新纪录。

然而,如此强大的模型,普通用户暂时还用不上:谷歌决定优先向少数网络安全防御人员开放,其他用户何时能够体验仍没有明确时间表。

重回世界第一,Gemini 也开始卷能力上限了

回顾今年的大模型竞争,谷歌的更新节奏明显正在「知耻而后勇」。

此前,接连推出 Gemini Flash 3.5 至 3.8 系列后,谷歌迟迟没有兑现新一代旗舰 Pro 模型的期待。另一边,Anthropic 和 OpenAI 持续刷新能力上限,国产模型也在不断追赶,谷歌急需一款有分量的产品重新证明自己的实力。

直到两周前前,Gemini 4 Argon 才终于上线。

Argon 意为「氩」,是一种性质稳定的惰性气体,常用于焊接和半导体制造中的保护环境。Argon 在文笔写作、表达质量等方面取得了明显提升,但距离全面领先顶级模型仍有差距。

如今,谷歌又带来了 Carbon,也就是「碳」。作为构成生命与有机化合物的重要元素,碳既能形成柔软的石墨,也能构成坚硬的金刚石。(PS:照这个更新速度,元素周期表跟产品路线图没什么区别了)

真正让 Gemini 4 Carbon 引起关注的,还是它公布的一系列成绩。

就在 10 月 27 日,独立模型评测机构 Artificial Analysis 刚刚升级了 Intelligence Index v5.0。这套综合指数涵盖知识工作、编程、科学和通用推理四大领域,各占 25%,其中 60% 的评测权重采用私有测试数据或隐藏答案,进一步提高了测试难度。

昨天新版榜单发布时,Claude Opus 5.5 以 58 分排名第一,GPT-6 Astra 以 57 分紧随其后,GPT-6.1 Sol 则以 55 分位居第三。而 Gemini 4 Carbon 直接拿到了 59 分,比 Argon 高出 9 分,也以 1 分优势超过此前榜首的 Claude Opus 5.5。

不止 Artificial Analysis,Arena.ai 最新公布的榜单也显示,Gemini 4 Carbon(High)在 Text Arena 登顶第一、Agent Arena 排名第二、Code Arena WebDev 排名第四。

伴随着新模型登顶,谷歌内部也开始为 Gemini 积极造势。此前从 Anthropic 跳槽至 Google DeepMind 的华人研究员姚顺宇,同样为 Gemini 系列宣传打 call。

除了综合排名,Gemini 4 Carbon 在实际工程任务上的表现也有明显变化。

过去,大模型可以在几分钟内写出一段程序,但面对大型软件工程,问题就复杂得多。一个隐藏在数百个文件中的故障,可能需要开发者反复检查依赖关系、定位异常、修改代码,再经过多轮测试才能解决。

谷歌表示,Gemini 4 Carbon 已经能够连续运行数天,处理大型代码库和底层系统中的复杂工程问题,即使遇到障碍,也能持续寻找其他方案,最终定位并修复一些隐蔽的软件缺陷。

网页开发方面,Gemini 4 Carbon 在 WebDev Arena 上的 Elo 评分提升了 89 分,达到 1769 分,排名第四。

相比过去随叫随到的编程助手,谷歌希望 Gemini 4 Carbon 能够成为真正承担复杂工程任务的自主 Agent。

不过,前代 Gemini 4 Argon 虽然能力有所提升,但实际使用时额度消耗较快,稍微处理几个复杂任务,就可能触及使用限制。希望这一代 Carbon 在提升能力上限的同时,也能改善额度消耗和使用限制问题。

如果说长程编程体现了 Gemini 4 Carbon 的工程能力,那么网络安全,可能才是谷歌此次更新最值得关注的部分。

传统的软件安全工作需要经历多个环节,首先从大量代码中寻找漏洞,再判断漏洞是否真的可以利用,最后针对问题编写修复程序,并验证修改是否有效。

Gemini 4 Carbon 的能力提升,恰好覆盖了这条完整流程。

在 SEC-bench Pro 测试中,Gemini 4 Carbon 取得了 88.2% 的成绩,主要考察模型在真实软件中自主发现复杂漏洞的能力;

在 ExploitGym 测试中,Gemini 4 Carbon 达到 54.8%,重点考察能否实际利用漏洞来验证风险;

在 Collinear 的 CWE-bench 测试中,Gemini 4 Carbon 又取得 71.0%,能够针对发现的问题生成有效的代码修复方案。

按照谷歌披露的结果,Gemini 4 Carbon 在上述三项测试中均达到了领先水平,相关成绩是在未启用安全防护限制的条件下测得。

谷歌内部测试也给出了相似结果。

在安全代码生成方面,Gemini 4 Carbon 的成功率超过 Argon 的两倍;Chrome 团队发现,其生成高质量安全补丁的表现比另一家实验室的前沿模型高出十倍以上,但未披露对比对象。谷歌旗下云安全平台 Wiz 也观察到,Carbon 在网络应用渗透测试中取得领先成绩。

从发现漏洞、验证风险到完成修复,AI 正在逐渐掌握网络安全专家的一整套工作流程。但同样的能力既能用于修复系统,也可能被攻击者利用,因此,谷歌还重点提升了 Carbon 在自主执行任务时的可靠性。

在 Terminal-Bench 4.0 测试中,Carbon 成功作弊的比例降至 0.0%,尝试作弊的比例仅为 0.4%,同时任务准确率有所提升。

在实际编程环境中,高严重程度的行为不一致警报减少近 80%,缺乏证据支持的断言减少约一半,越权行动和未充分完成任务的情况也分别下降 26% 和 29%。

另一项进展来自提示词注入防护。

攻击者可能在网页或文档中植入恶意指令,诱导 AI 偏离原本任务,而在 Gray Swan 的间接提示词注入测试中,Carbon 将攻击成功率从 Argon 的 0.7% 进一步降至 0.0%,抵御了此次测试覆盖的全部攻击尝试。

当然,测试中的零成功率并不意味着现实中的所有攻击都能被阻止。有 Hacker News 网友认为,减少 AI 在执行任务时投机取巧,可能是提升前沿模型实用性的重要进步之一。

不过,Gemini 4 Carbon 发布后,最引人关注的争议,反而和模型能力没有太大关系。

按照官方安排,Gemini 4 Carbon 本周将首先提供给部分网络安全防御人员,再通过 Fairwind Program 逐步扩大至可信合作伙伴。谷歌表示正在审慎参与美国政府自愿开展的模型发布前测试,至于普通开发者和消费者何时能够使用,暂时没有时间表。

价格方面,Gemini 4 Carbon 将沿用 Argon 的首发定价,每百万输入 Token 收费 2 美元,输出 Token 收费 10 美元,缓存输入优惠 95%。推广期结束后,标准价格将调整为输入 4 美元、输出 20 美元。

值得一提的是,谷歌发布新模型的消息传到 Hacker News,评论区很快热闹起来。

不少网友直言,自己越来越反感谷歌提前宣布新模型、却迟迟不开放的做法;也有网友表示,已经懒得点开谷歌的模型发布链接,因为最后总会发现产品暂时用不上。

原本等打磨好就能直接端上桌的旗舰模型,现在非要套上一层能力太强怕毁灭世界的安全叙事外壳,隔三差五发篇通稿围猎大伙的注意力,结果到头来却迟迟用不上。

这种「无实物表演」的发布方式属实是被 Anthropic 带到沟里去了。

毕竟,Benchmark 可以告诉我们模型在考试中有多厉害,但能否进入真实的工作环境、创造持续的价值,还得等用户真正用上它之后才知道。

而对于 Gemini 来说,或许比再次宣布全球第一更重要的事情,是尽快让这个全球第一让更多人有机会用上。

Source

cnBeta