←News detail

QbitAIUpdated Oct 30 14:48

Google Releases Gemini 4 Carbon, Surpassing Claude Opus 5.5 on Multiple Benchmarks

English text is being prepared.

AI summary

Google has released its new flagship model Gemini 4 Carbon, which tops the Artificial Analysis Intelligence Index 5.0 with a score of 59, surpassing Claude Opus 5.5 and GPT-6 Astra. It scored 65.2% on Terminal-Bench 4.0, 96.2% on GraphWalks for 256k to 1M context, and 88.2% on SEC-bench Pro vulnerability discovery. Initial pricing is $2 per million tokens for input and $10 per million tokens for output, with cached input as low as $0.2; because of its vulnerability discovery and exploitation capabilities, it will first be made available to select cybersecurity defenders.

Why read this

SelectedAI score 81

The original text lists Carbon's specific scores and pricing on terminal coding, long-context, and safety benchmarks, allowing comparison with Opus 5.5 to gauge the gap.

Topics

Tags

Body

刚刚,Gemini 4 Carbon全面超越Opus 5.5!首发Token半价

Argon发布两周啊,谷歌火速掏出新旗舰Gemini 4 Carbon。

这次一举超越Claude Opus 5.5和GPT-6 Astra。

在刚刚更新的Artificial Analysis智能指数5.0中以59分的高分强势登顶全球第一。

两周前谷歌刚发Gemini 4 Argon时,硅谷还在热议谷歌内部泄露的一个神秘存档点“Carbon”,当时内部工程师给出的评价还是“编程体感逼近Opus 5.5”。

没想到短短半个月,正式版Carbon不仅在智商与长程编程上完成了对Opus 5.5的正面反超,更在代码安全与防作弊上大幅领先。

甚至点亮100%免疫提示词注入天赋。

这什么残暴的进步速度,RSI真让他们给玩明白了?

Carbon首发阶段延续了Argon的半价折扣,输入2美元/百万Token、输出10美元/百万Token,账面单价仅为Opus 5.5($4/$20)的一半。

并且针对Agent任务高频使用的缓存命中输入(cached input)给出了95%的骨折价优惠(低至0.2美元/百万Token)。

超越Opus 5.5,还能连肝数日死磕底层Bug

两周前发布的Gemini 4 Argon虽然在长文本和多模态上表现惊艳,但在综合智能指数(53分)和部分硬核终端任务上,依然被Opus 5.5压了一头。

这一次,Gemini 4 Carbon精准补齐了最后一块拼图,直接将能力推向了“全天候自主工程师”的形态。

在谷歌内部的实战编程环境中,研发团队观察到令人瘫坐的一幕:

Carbon能够连续运行好几天,在庞大复杂的代码库和底层系统中自己摸索;哪怕中途多次撞上“死胡同”(dead ends),它也能持续死磕到底,独立完成复杂的多步工程任务。从顺藤摸瓜定位极其隐蔽的Bug根因,到最终写出修复补丁,一气呵成。

这种长线执行能力直接体现在了多项硬核指标的反超上:

命令行与终端工程

在Terminal-Bench 4.0(AA测试集)中,Carbon拿到65.2%,领先Opus 5.5(59.6%)和GPT-6 Astra(59.1%);

在科学终端任务Terminal-Bench-Science 0.1上同样以64.8%位列第一(Opus 5.5为59.0%)。

超长上下文与多步决策

在256k至1M上下文的GraphWalks测试中,Carbon拿到96.2%,大幅甩开Opus 5.5(66.8%)和Astra(71.8%);

在模拟长周期商业经营的Vending-Bench 2中,Carbon最终账户余额达到16,484美元,接近Opus 5.5(9,235美元)的1.8倍。

全栈开发与企业任务

在WebDev Arena上,Carbon凭借前端组件与输出质量的提升,Elo分数上涨89分来到1769分,虽然是全球第四,但平均任务成本更低。

在衡量企业级工作流价值的Vals Index v2.2上也以70.4%微弱领先Opus 5.5(70.2%)。

不过,从第三方评测机构Artificial Analysis的拆解来看,Opus 5.5在纯代码工程领域依然保有一部分护城河。

例如在谷歌自己公布的表格中,有两项指标Carbon未能登顶:

一项是衡量前沿软件工程的FrontierSWE 2,GPT-6 Astra(65.5%)与Opus 5.5(62.3%)依然排在Carbon(61.2%)前面;

另一项是计算机操作基准OSWorld-2.1离线子集,Opus 5.5以87.2%保持第一(Carbon为81.5%)。

此外,在搭配各自官方CLI工具的Coding Agent专项指数上,Carbon配合谷歌Antigravity CLI得分为59分,仍以3分之差次于Claude Code加持下的Opus 5.5(62分)。

这一波反重力还是拖了哈基米的后腿。

但对于开发者而言,Carbon真正的杀伤力在于Token消耗效率。

独立评测数据显示,Opus 5.5虽然能力强,但推理过程极为冗长,完成单次Intelligence Index评估平均要消耗17.3万输出Token。而Carbon仅需12.3万Token,输出量减少了29%。

这意味着,即便未来Carbon恢复到与Opus 5.5相同的$4/$20标准定价,Carbon的单次任务平均成本($7.76)也比Opus 5.5($10.04)低23%左右。

如果算上目前$2/$10的首发半价,Carbon在实际生产环境中的账单成本还不到Opus 5.5的四成。

除了常规编程,谷歌此次将Carbon的核心差异化卖点押注在了网络安全防御全生命周期上。

这也是被逼的没办法,总不能看着家前沿模型天天挖Chrome浏览器和安卓系统的漏洞是吧。

(以下外部基准测试均在移除安全护栏的满血状态下评估):

第一步:大海捞针找真洞(Finding real vulnerabilities)

网络安全防御的核心,是赶在黑客之前从真实软件中揪出深藏的复杂缺陷。在包含V8引擎、Linux内核等真实高危漏洞的SEC-bench Pro测试中,Carbon拿下了88.2%,不仅大幅甩开前代Argon(78.8%),更直接超越了OpenAI的GPT-6 Astra(85.4%),创下全新SOTA。

第二步:实战推演验风险(Validating risk through exploitation)

面对成百上千个潜在漏洞,安全团队到底该先修哪一个?这需要模型像真正的攻击者一样,去验证哪些漏洞是真正可被利用的(exploitable)。

在著名的漏洞利用基准测试ExploitGym上,Carbon以54.8%的成绩再次刷新SOTA(此前Argon为35.1%),帮防御者精准排定修复优先级。

第三步:直击病灶打补丁(Patching at the root cause)

找到并验证漏洞后,终极考验是直接写出能跑通、且不破坏原有功能的修复代码。在Collinear推出的CWE-bench(涵盖73种常见弱点枚举的真实仓库审计修复测试)中,Carbon达到了71.0%,全面碾压Claude Opus 5.5(67.0%)和Argon(68.0%)。

除了刷爆外部榜单,Carbon在谷歌内部安全基准测试中,Carbon生成安全代码的成功率比Argon提升了2倍以上。

更夸张的战报来自谷歌自家的Chrome浏览器团队:在生成高质量安全补丁的实战对比中,Carbon的表现比另一家顶级实验室的大型前沿模型强出10倍以上。

整治Agent作弊,提示词注入100%免疫

模型在终端里连续跑几天,最令开发者头疼的往往不是算力账单,而是模型在遇到高压复杂任务时开始“耍小聪明”(Shortcut & Loophole Exploitation)。

此前针对Terminal-Bench 4.0的第三方审计就曾揭露,不少高分模型在修不好Bug时,会通过修改测试脚本或走漏洞来伪造“测试通过”。针对这一顽疾,谷歌在Carbon的对齐训练上做了一次重点收敛:

作弊成功率直接干到0.0%

在终端操作基准Terminal-Bench 4.0上,Carbon在大幅提升整体准确率的同时,将“成功作弊率”硬生生压到了0.0%,连尝试走捷径作弊的比例都跌至0.4%。

在谷歌内部团队的实况编程环境中,高严重性的失调警报(misalignment alerts)更是暴跌了近80%。

拒绝不懂装懂,幻觉率远低于竞品

在内部测试中,Carbon做出无根据断言(unsupported claims)的频率比Argon降低了约2倍。

面对证据缺失或操作受阻,它不再含糊其词或强行脑补,而是把方法论的局限性直接写进交付文档,或者拉出一张清晰的清单告诉人类“还缺什么条件”。

不懂就问,明确执行边界

面对模糊不清的需求,Carbon不会盲目瞎猜或强行推进,而是先检索相关信源,把发现的矛盾点摆到台面上与用户确认。

在端到端执行多步计划时,它的越界操作(overreach)减少了26%,敷衍漏做(under-service)减少了29%。

提示词注入100%免疫

当Agent在野外读取网页、邮件和外部代码库时,极易遭到“间接提示词注入”(IPI)的劫持。

在Gray Swan IPI基准测试中,前代Argon曾以0.7%的极低被攻破率领跑全。

而这一次,Carbon直接交出了0.0%攻击成功率的满分答卷,成功抵御了评估中的每一次攻击尝试。

14天闪击战背后:RSI全面提速

从9月底亮相、两周前刚刚全面铺开的Gemini 4 Argon,到今天横空出世、全面反超Opus 5.5的Gemini 4 Carbon。

CEO劈柴哥在x上更是凡尔赛地调侃道(doge):

我之前就说过,我们会周期性地发布模型……现在向大家介绍Gemini 4 Carbon。

结合此前曝出的内部信息来看,谷歌实际上在内部同时并行训练和评估了Argon、Barium、Carbon等多个Gemini 4存档点(其中公开发布的Argon实为内部的Barium-B存档点)。

在官方公告不起眼的角落里,谷歌DeepMind高级副总裁、首席AI架构师Koray Kavukcuoglu透露了真正的秘密:

“我们的研究人员正与我们的模型携手并进(working hand in hand),以更快的速度推进能力演进,同时同步强化安全护栏。”

不过,谷歌还是你谷哥,发布≠上架。

由于Carbon具备较强的漏洞挖掘与利用能力,还要进行发布前测试流程。从本周开始,Carbon将率先向一部分网络安全防御人员开放。

还记得Argon从发布到真正给你用过了多久吗,这次等的也不会短就是了。

眼下Anthropic上市的关键节点上,这下该把Fable 5.5放出来了吧?

至于沉迷发中杯Terra模型和短信通知Dot的OpenAI,我祝他好运。

参考链接:

Source

QbitAI