←News detail

TMTPost · AGIUpdated Oct 30 14:18

Google releases Gemini 4 Carbon, topping the Artificial Analysis Intelligence Index with 59 points

English text is being prepared.

AI summary

Google has released its new-generation flagship model Gemini 4 Carbon, which tops the Artificial Analysis Intelligence Index v5.0 with 59 points, surpassing Claude Opus 5.5 and GPT-6 Astra. On Terminal-Bench 4.0, the model improved from Argon's 57.1% to 65.2%, and on the GraphWalks long-context test it rose from 84.2% to 96.2%, but developers report that its generation speed is about 2 to 4 times slower than Argon. This week Google first opened it to a small number of cybersecurity defense organizations, then expanded it to trusted partners through the Fairwind program; the opening time for general users has not yet been announced.

Why read this

AI score 73

The article puts Carbon's top score, its phased rollout pace, and Alphabet's earnings pressure together, so readers can see the costs and commercialization constraints behind a model release.

Topics

Tags

Body

谷歌旗舰模型的保鲜期,怎么只有15天?

美国时间10月28日,在Alphabet第三季度财报电话会召开前约3小时,谷歌发布了新一代旗舰模型Gemini 4 Carbon,以59分登顶Artificial Analysis最新智能指数,超过了Claude Opus 5.5和GPT-6 Astra,成为全球第一。

模型拿了第一,财报就没那么喜庆了。

Alphabet第三季度自由现金流恶化至负90.65亿美元,连续第二个季度为负,股价盘后一度下跌超10%。

就在两周前,谷歌才正式向付费用户开放Gemini 4 Argon。

有网友直接评价:“Carbon比Argon强多了。我真希望谷歌当初直接跳过Argon,那样这次回归会更有说服力。”

还有网友调侃起了谷歌的命名方式:“两周内从氩(Argon)变成碳(Carbon),下一个就是铁(Iron),然后就该开始热处理了。笑死。”

从已经公开的数据来看,Gemini 4 Carbon的进步确实相当明显。

可惜谷歌又一次选择了分阶段开放,普通用户只能看着排行榜上的新冠军,继续使用刚被网友建议“直接跳过”的Argon。

哈基米重回全球第一

时隔约半年,谷歌终于重回Artificial Analysis智能指数的榜首。

上一次Gemini位列榜首还是今年4月,那时Gemini 3.1 Pro与GPT-5.4、Claude Opus 4.7并列第一。随后OpenAI和Anthropic相继推出更强的模型,谷歌直到Carbon发布才重新登顶。

在Artificial Analysis最新的智能指数v5.0中,Carbon获得了59分,较Argon的50分提高9分,比Claude Opus 5.5高1分、GPT-6 Astra高2分。

在组成该指数的9项测试中,Carbon拿到了4项第一,尤其擅长复杂推理、科学研究、知识问答和自动化任务。

其中最值得关注的是编程能力的提升。

在Artificial Analysis另一套专门衡量AI编程能力的Coding Agent指数中,Carbon获得59分,仅次于Claude Opus 5.5的62分。谷歌过去在这类测试中一直不算突出,这次终于追了上来。

在Terminal-Bench 4.0终端编程测试中,Carbon的成绩也从Argon的57.1%提高到65.2%。网页开发方面,Carbon在WebDev Arena上的评分较Argon提高89个Elo分,以1768分升至第四名(谷歌官方公告为1769分,本文以Arena原始排行榜为准)。

长上下文处理能力也有明显改善。在GraphWalks测试中,Carbon的成绩从Argon的84.2%提高到96.2%,超过GPT-6 Astra的71.8%。这项测试考察模型在长达百万Token的上下文中追踪复杂关联的能力。

不过,在编程Agent、部分软件工程及电脑操作测试中,Claude和GPT仍然保持领先。

跑分之外,谷歌特地强调了Carbon执行复杂任务的能力。

官方公告表示,Carbon专门针对长时间运行的Agent工作流程进行了优化。在内部测试中,它已经能够连续运行数天,反复尝试不同的方法,在大型代码库和底层系统中定位、修复复杂的错误。这意味着,Carbon有望在遇到困难时继续推进工作,逐步承担过去需要工程师长时间参与的任务。

另一项重点升级是模型的网络安全能力。

根据官方文档,在SEC-bench Pro漏洞发现测试中,Carbon获得88.2%的成绩;在ExploitGym漏洞利用验证测试中达到54.8%;在CWE-bench漏洞修复测试中达到71.0%,均取得了领先成绩。

谷歌还透露,在内部安全代码生成测试中,Carbon的成功率超过Argon的两倍。

此外,在Gray Swan的间接提示注入测试中,Carbon也取得了0%的攻击成功率。这项测试专门考察AI能否抵挡藏在网页、邮件和其他外部资料中的恶意指令。

在允许攻击者最多尝试15次的情况下,Carbon抵挡住了全部测试攻击。相比之下,Argon的攻击成功率为0.7%,Claude Opus 5.5为1%,GPT-6 Astra为8.5%。

还有一点,比较有意思:Carbon是个官方认定的“老实模型”。

过去一些AI模型为了完成任务,可能会钻测试环境的漏洞,甚至通过不符合任务要求的手段骗取高分。但谷歌宣称,Carbon在Terminal-Bench 4.0测试中的作弊成功率已经降至0%,作弊尝试率也降低至0.4%。

在内部测试中,Carbon缺乏依据的断言数量较Argon减少约一半,高严重程度的行为偏离警报下降近80%。模型越权操作的情况减少26%,任务完成不足的情况减少29%。

至于价格,Carbon暂时沿用了Argon的优惠定价。

每百万输入Token收费2美元,输出10美元,缓存输入享受95%的折扣。优惠期结束后,价格将分别上涨至4美元和20美元。

Artificial Analysis的测试还显示,按照优惠期结束后的标准API价格计算,Carbon平均完成一项综合评测任务的成本为7.76美元,与Argon的7.68美元基本持平(但综合得分提高了9分)。

相比之下,Claude Opus 5.5的单任务成本为10.04美元,Carbon便宜约23%;GPT-6 Astra则只需6.24美元,比Carbon低约20%。

唯一的问题是,现在还没有多少人能够真正用上Carbon。

谷歌宣布,本周将率先向少数网络安全防御机构开放模型,再通过Fairwind计划逐步扩大至可信合作伙伴。普通消费者、开发者和企业客户还需要继续等待,具体开放时间尚未公布。

变强了,但也变慢了

虽然Carbon尚未全面开放,但在正式发布前,已经有部分开发者通过提前访问计划和Arena测试到了它。

从目前公开的反馈来看,Carbon确实比Argon强了不少——尤其是在3D内容生成方面。

10月21日,X用户Lumina分享了一组测试结果,包括生成体素宝塔,以及用SVG绘制骑自行车的鹈鹕。

他认为,Carbon生成的3D内容质量明显超过Argon,在多种任务中的整体表现也不错。但有一个很突出的问题:太慢了。

Lumina表示,根据具体任务不同,Carbon的生成速度比Argon慢约2至4倍。

另一位关注Carbon早期测试的网友Lentils也给出了相似的评价:3D能力明显提升,前端和UI设计依然不太理想,而且模型变得更慢了。

不过,他也发现一个积极的变化:Carbon没有以前那么“懒”了,在执行任务时更加积极,不容易敷衍了事。

速度问题并非个别开发者的错觉。独立评测机构Vals AI也发现,Carbon的能力提升伴随着明显的速度代价。

在金融和税务Agent测试中,Carbon平均完成任务的时间分别是Argon的2.25倍和2.12倍。其中,金融Agent的准确率甚至从67.66%小幅下降至67.16%。

法律研究测试中,Carbon虽然拿到了第一名,但平均每项任务需要近52分钟,比Argon多耗时约20分钟。

另一项争议来自Carbon的准确率问题。

有网友在X上直言:“说实话,只要谷歌还没把模型的幻觉率大幅降下来,不管它在基准测试里比其他模型高多少分,我都不感兴趣。”

Artificial Analysis的AA-Omniscience测试则显示,Carbon的知识问答正确率从Argon的48%提高到58%,但幻觉率从4%增加到了11%。

这里的幻觉率,衡量的是模型在没有完全答对的问题中,有多少比例给出了错误回答,而没有承认自己不知道。

前面提到过,谷歌在官方公告中还专门强调Carbon缺乏依据的断言较Argon减少了一半,两项测试的任务和统计口径不同。

还有不少开发者对谷歌的发布方式感到不满。

在Hacker News上,有网友抱怨,谷歌每次都急着宣布新模型,却迟迟不给出明确的开放日期。等到Carbon真正向公众开放,OpenAI和Anthropic可能已经发布了下一款更强的模型。

有网友给出了一个很损的比喻,他觉得谷歌这次的发布方式,简直就像一个人四处炫耀:“我有个女朋友,只不过她在另一所学校,你们都不认识她。”

模型拿了第一,但账还没算完

Carbon发布后几个小时,谷歌母公司Alphabet公布了第三季度财报。

如果只看营收和云业务的增长情况,谷歌的成绩其实相当漂亮。

第三季度,Alphabet总营收达到1275.77亿美元,同比增长25%。其中,Google Cloud营收307.09亿美元,同比增长103%,营收规模较去年同期翻了一倍多。云业务的营业利润也从去年同期的35.94亿美元增长至111.21亿美元,利润率由23.7%提高至36.2%。

用户规模同样在增长。皮查伊在财报电话会上透露,Gemini App的用户数已经达到10亿,成为谷歌历史上增长最快的产品;谷歌自有模型API每分钟处理近320亿Token,是一年前的四倍以上。

然而,资本市场的反应却相当冷淡。

10月28日美股常规交易时段,Alphabet股价还上涨了1.34%。但随着财报公布,股价迅速转跌,盘后跌幅一度超过10%。

Carbon刚刚帮谷歌拿下全球第一,似乎也没能挽住投资者的信心。

原因之一是广告业务不及预期。第三季度谷歌广告收入达到820.12亿美元,同比增长约11%,但比分析师预期低约14.1亿美元。

财报电话会上,谷歌高管表示,AI Mode虽然带来了快速增长的查询量,但目前每次查询的广告变现水平仍低于传统搜索,因此也在一定程度上拖累了谷歌搜索业务的收入增速。

与此同时,谷歌花钱的速度越来越快。

第三季度,Alphabet资本开支达到513.55亿美元,自由现金流降至负90.65亿美元,连续第二个季度为负。

虽然本季度的现金流还受到52亿美元欧盟罚款支付,以及TPU系统备货等因素影响,但基础设施投资的压力确实存在。

Alphabet预计,2026年全年资本开支将达到1950亿至2050亿美元,2027年还会继续显著增加。

为了满足持续增长的算力需求,谷歌甚至开始使用第三方算力,首席财务官预计,这将在短期内给云业务利润率带来压力。

在电话会上,皮查伊也透露了Carbon接下来的发展计划。谷歌正在开发Carbon的蒸馏版本,希望在兼顾算力成本、响应延迟和模型质量的前提下,将其部署到10亿用户规模的产品中。

这也从侧面说明,把模型做到全球第一,与把全球第一的模型交到10亿用户手里,中间仍然隔着相当大的成本和工程难题。

当然,谷歌有自己的优势。它已经拥有庞大的用户群体、盈利能力持续增长的云业务,以及能够对外销售的TPU系统。即使最强模型暂时不能全面开放,谷歌仍然有很多渠道将AI能力转化为收入。

而且谷歌已经开始在内部尝到AI带来的生产率红利。皮查伊透露,过去几周,谷歌的Chrome、广告和搜索团队使用Argon编写和优化代码,交付的代码量增加了35%,错误减少了30%。

如今,谷歌也已经开始在内部部署Carbon。皮查伊认为,新模型的能力又有了明显提升,随着更多员工获得使用权限和算力支持,未来一年谷歌内部的生产效率还有望进一步提高。

Carbon确实为谷歌挽回了技术上的面子,也让它在与OpenAI、Anthropic的竞争中重新占据了有利位置。

但资本市场需要的,恐怕不止一张漂亮的排行榜。

Source

TMTPost · AGI