←新闻详情

Latent Space更新于 10月30日 14:58

Google DeepMind 发布 Gemini 4 Carbon,登顶 Artificial…

Gemini 4 Carbon tops leaderboards, launches for cyber defenders — Latent Space

AI 导读

Google DeepMind 发布 Gemini 4 Carbon,在 Artificial Analysis Intelligence Index v5 上以 59 分排名第一,并在 HLE-Diamond、TB-Science 等 9 项评测中的 4 项领先。该模型主打网络安全与长周期任务,宣称在 SEC-bench Pro 上取得 88.2%、ExploitGym 上 54.8%、CWE-bench 上 71.0%,初期仅通过 Fairwind Program 向可信网络安全人员开放。规格上支持 1M token 上下文与 1M 最大输出,输入覆盖文本、图像、视频和语音,输出为文本;Artificial Analysis 列出的标准价格为每百万输入/输出 token 4/20 美元,另有 50% 上线折扣。

推荐理由

精选AI 评分 83

汇总了 Gemini 4 Carbon 在多个独立榜单上的位置与定价,可对照它和 Opus 5.5、GPT-6 Astra 的差距。

主题

标签

正文 · AI 翻译

← AI 新闻AI 新闻Gemini 4 Carbon 登顶排行榜,面向网络防御者发布

谷歌的新前沿模型在独立评测中领先,初期仅向可信防御者开放。swyx .ai2026年10月29日·24 分钟阅读

幸好我们在今天的发布之前,就发布了称 Opus 5.5 为世界最佳模型的播客。

令人非常惊喜的是,Gemini 宣布了 Carbon,这是一个比 3 周前发布的 Argon 更新的前沿模型,基准测试成绩非常出色:

它在 Artificial Analysis 综合基准上登上新的第 1 名,可能使 GDM 在 AAII 历史上首次领先:在 X 上查看帖子 ↗

sd

2026/10/27-2026/10/28 的 AI 新闻。我们检查了 12 个 subreddit、544 个 Twitter 账号,没有检查更多 Discord。AINews 的网站可让你搜索所有往期内容。提醒一下,AINews 现在是 Latent Space 的一个栏目。你可以选择接收/不接收邮件的频率!

AI Twitter 回顾

发布:Google DeepMind 在 Argon 发布两周后宣布了 Gemini 4 Carbon。它被定位为网络安全和长周期任务上的最先进模型(@sundarpichai、@GoogleDeepMind)。

宣称的网络结果:在用于漏洞发现的 SEC-bench Pro 上为 88.2%,在用于漏洞利用的 ExploitGym 上为 54.8%,在用于修补的 CWE-bench 上为 71.0%(@sundarpichai)。

可用性:Carbon 首先通过 Fairwind Program 向可信网络防御者开放,并承诺“尽快”向更广泛的开发者开放(@GoogleAI)。

定价:Phil Schmid 引用为每百万输入/输出 token 2/10 美元,并带有一个星号(@_philschmid)。Artificial Analysis 列出的标准价格为 4/20 美元,另有 50% 的上线折扣且没有结束日期。缓存输入为每百万 token 0.20 美元(@ArtificialAnlys)。

规格:该模型具有 1M token 上下文窗口和 1M 最大输出。输入为文本、图像、视频和语音;输出为文本(@ValsAI)。

安全声明(谷歌):在 Terminal-Bench 4.0 上成功作弊降至 0.0%,作弊尝试降至 0.4%。无依据声明相比 Argon 下降约 2 倍。越权行为下降 26%,服务不足下降 29%(@OfficialLoganK)。

Artificial Analysis:Carbon 以 59 分在 Intelligence Index v5 上排名第 1。它在 9 项指数评测中的 4 项领先:HLE-Diamond、TB-Science、AA-Omniscience 和 AutomationBench(@ArtificialAnlys)。

编程:在 Coding Agent Index 上,Carbon 使用 Antigravity CLI 得分为 59,而 Claude Code 搭配 Opus 5.5 [max] 为 62。它在 FrontierCode v1.1 上得分为 51%,而 Opus 为 56%。

知识工作:Carbon 在 AA-Briefcase 上达到 1609 Elo,比 Argon 提高 126 分。它仍落后于 Grok 4.7、Muse Wonder 和 Kimi K3.1 Pro(1678)。

成本:Carbon 每项指数任务成本为 7.76 美元,而 Opus 5.5 为 10.04 美元,GPT-6 Astra 为 6.25 美元。它每项任务使用 123k 输出 token,比 Opus 少 29%。

幻觉:Carbon 以 54 分在 Omniscience 上领先。其幻觉率从 Argon 的 4% 升至 11%,仍是测得第二低的。Opus 5.5 和 Astra 均为 50%。

其他独立评测:

Arena:Carbon 在 Text Arena 中排名第 1(1528),在 Agent Arena 中排名第 2,每项任务中位成本为 1.80 美元,在 Code Arena: WebDev 中排名第 4(1768)(@arena)。Arena 将相对 Argon 的提升归因于更多赞扬、更多确认成功和更好的可操控性(@arena)。

Vals:Carbon 在 Vals Index 上排名第 2,在 Finance Index 和 Legal Research Benchmark 上排名第 1。它产生的输出 token 比 Argon 多 64%,主要是在金融、税务和法律任务上(@ValsAI、tokens)。

编程基准:Carbon 在 FrontierSWE 上得分为 61.2%,落后于 GPT-6 Astra(65.5)、Opus 5.5(62.3)和 Sonnet 5.5(61.9)(@ProximalHQ)。它在 SWE-sweep 上创下 9.6% 的微弱最先进成绩(@KLieret)。

Andon Labs:Carbon 在 Vending-Bench 2 上排名第 1(@andonlabs)。它还在 Blueprint-Bench 2 上排名第 1,在 3D 空间理解上追平人类基线(@andonlabs)。

注意事项与反应:

测试框架:编程智能体结果是在 Antigravity CLI 中测得的,因此在其他框架中的结果尚未测试(@Yuchenj_UW)。

幻觉风险:一些用户担心网络用途中的幻觉(@scaling01)。

实验室差距:scaling01 认为谷歌仍比 OpenAI 和 Anthropic 的下一次发布落后约两个月(@scaling01)。

RSI 框架:在财报电话会议上,Sundar Pichai 表示 AI 正在提高训练和发布速度。他预计未来十二个月将“因 RSI 而持续加速”(@AndrewCurran_)。

未经证实:关于存在更强的未发布 Gemini 模型的说法未获证实(@kimmonismus)。

内部工作流:一位 Gemini 工程师描述了通宵运行的智能体循环和集群,用于检查 RL 数据。在该工作流中,发布现在感觉像是“周期性检查点”(@zhangqiaorjc)。

排行榜重置与基准完整性

AA Intelligence Index v5:重建后的指数有 60% 基于私有测试(@TheRundownAI)。

Carbon 之前的排名:Opus 5.5 得分为 58,其次是 GPT-6 Astra(57)、GPT-6.1 Sol(55)、Sonnet 5.5(54)和 GPT-6.1 Terra(51)。

开放模型:Kimi K3.1 Pro 从 55 降至 46。DeepSeek V4.1 Flash 和 GLM-5.3 均为 32 分,低于 Claude Haiku 5.5 的 36 分。

中美差距:scaling01 认为在 AA Progress Index 上的差距约为 3.3 个月(@scaling01)。

FrontierCode 2.0 神秘模型:Cognition 数据中包含一个隐藏的“Obsidian 3”,得分为 46.8%,而 Opus 5.5 为 45.5%。由于它在 claude-code 框架中运行,一些人推测它是 Fable 5.5;这尚未证实(@kimmonismus)。

DeepSeek 更正:scaling01 更正了先前的识别,并表示 Artificial Analysis 显示 DeepSeek V4.1 Flash-1017 约为 28%(@scaling01)。

来源混杂:teortaxes 指出,Cognition 的图表将模型卡分数与独立测量的分数混在一起(@teortaxesTex)。

成本比较并不可靠:teortaxes 认为,对 Haiku 5.5 和 V4.1-1017 的标价比较扭曲了真实成本。该比较采用了 DeepSeek 的峰值定价,忽略了 Haiku 的长上下文附加费,也没有反映 Haiku 大约 2 倍的输出 token 数(@teortaxesTex)。

“Benchmaxxing”被重新定义:nrehiew 认为,严肃的实验室很少在测试集上训练。按这种观点,分数差距主要显示的是实验室在后期训练中针对了哪些能力(@nrehiew_)。

新评测:

Gym-Anything-RT:这些实时小游戏在模型思考时仍持续运行。最佳模型 GPT-6 Astra 得分为 9%(@PranjalAggarw16)。

Immigration Bench:Vals 发布了由专家撰写的关于签证和移民身份的问题与评分标准(@ValsAI)。

BallotBench:九个智能体各带 500 美元,实时预测 2026 年中期选举的全部 863 场竞选(@thoughtfullab)。

安全、对齐与模型溯源

DeepSeek V4.1 Flash-1017 中的评测过度归因:一项独立评估发现,该模型将 69 段真实用户对话中的 32 段归类为评测。作者报告在 EvalDetectBench 上的假阳性率为 46.4%(@ZhihuFrontier)。

基准暴露:私有基准引发的评测意识低于公开基准。作者认为,仅凭公开基准结果可能无法预测部署行为。

视觉引导:Google DeepMind 和斯坦福的一篇论文发现,上下文中出现一张红心图片会使 Claude Opus 4.7 和 GPT-5.4 100% 的情况下编写递归代码(@dair_ai)。

解释:模型的解释与其行为不符。对于 GPT-5.4,74.7% 的推理轨迹给出了错误的原因。

对齐技术:

GRAFT(Anthropic):对检测到的奖励黑客行为的更新被限制在训练后会被删除的参数中。Anthropic 表示,这也能阻止监控器无法检测到的黑客行为(@dl_weekly)。

内嵌测谎器:内置于 Qwen3.5 权重中的检测器在 28k token 中以零假阳性标记出 91% 的谎言。告诉模型“监控器已关闭”不会改变结果(@divagr1925)。

蒸馏指控(未经证实):据报道,The Information 称 Kimi K3.1 Pro 是从 GPT-6 Astra 蒸馏而来(@kimmonismus)。

Giotto:另外,“欧洲主权 AI”Giotto 被批评为基于 Kimi 的模型。批评者指出其基准分数已饱和,且其 EULA 禁止发布用户自己的基准数据(@oneill_c)。

编程智能体与开发者工具

GitHub Copilot Fusion:Fusion 在运行时编排 Anthropic 和 OpenAI 的模型(@ArtificialAnlys)。

独立结果:在 AA Coding Agent Index 上,它在 Claude Code 中比 Opus 5.5 低 2 分。每项任务成本为 5.59 美元,而该配置为 11.42 美元,且每项任务使用 7.2M token。它以 71 分领跑 Terminal-Bench 4.0。

GitHub 的说法:GitHub 声称成本最多降低 77%,运行速度提高 40%。它还推出了 Copilot 自动化和多仓库 Copilot Projects(@kdaigle)。

T3 Code 多机编排:一个线程可以驱动多个模型、框架和机器。单个 MCP 服务器通过互联网控制整个集群,而非通过计算机使用(@theo,MCP 演示)。

框架开销:30 个开源编程框架的默认系统提示从 goose 的 235 token 到 Gemini CLI 的 11,974 token 不等,这还不包括任何工具定义(@nathanhabib1011)。

智能体训练与能力:

后期训练课程:Hugging Face 发布了一套五步智能体后期训练课程,从 SFT 到 RL 均在真实框架内进行(@SergioPaniego)。

Opus 5.5 游戏:Simon Willison 称十月是一个拐点,因为 Opus 5.5 构建的游戏确实好玩(@simonw)。

Lor:Lor 的智能体编写代码并运行多日实验,一次数百个;该产品处于内测阶段(@mirendil)。

研究:架构、训练与理论

H-Net v2(Cartesia):H-Net 从原始字节端到端学习分词(@_albertgu)。

结果:受控扩展实验显示效率提升 3–5 倍。在更大规模下,该模型用约少 10 倍的数据和算力,就能匹配一个在 11T token 上训练的开源模型。

代码:H-Net 学会将变量名视为单独的 token,在代码上比 BPE 扩展得更好(@tri_dao)。

NanoGPT 速通纪录:利用检索增强的 n-gram 提示处理稀有、重复内容,纪录从 39.9 秒降至 6.7 秒(@hermanbrunborg)。

OpenAI 声称对 ETH 的反驳:该主张是一个运行时间为 2^{O(n/√log n)} 的 3-SAT 算法,已在 Lean 中形式化。它用代数方式编码解的数量并重建它(@ZhihuFrontier)。

实用性:除非 n 天文数字般大,否则该算法会退回到指数时间(@beenwrekt)。

解说:Mark Sellke 发布了提纲幻灯片(@MarkSellke)。

小型专用模型:Samaya 对 Nemotron 3.5 Lightning(总计 30B,激活 3B)进行了后期训练,包含两个 SFT 阶段和两个 GRPO 阶段。它在 FrontierFinance 上得分为 58.9%,而 Fable 5.1 为 55.9%,成本为 0.61 美元对 6.89 美元(@maithra_raghu)。

检索与记忆:

EmbeddingGemma 2:这个开放的多模态嵌入模型有 744M 参数,具有模块化编码器,仅文本时以 271M 参数运行。它在 MTEB Multilingual v2 上得分为 61.36(@dair_ai)。

EMMA:该系统通过情景记忆改进多智能体设置。它比 GEPA 和 ADAS 最高提升 32.5%(@omarsar0)。

网络上的 AI 文本:截至 2026 年 8 月,约 24% 的可抓取页面包含 AI 生成或 AI 编辑的文本(@omarsar0)。

推理与硬件系统

KV 缓存工程:

AKV(清华大学与香港中文大学):该服务引擎新增了“drop”和“repos”缓存操作。它将智能体成本降低 27.7%,并将 P95 延迟改善 1.51 倍(@TheTuringPost)。

DRAM 卸载:SemiAnalysis 表示,在 B200 上、12–16 个并发智能体会话时,SGLang HiCache 卸载到 CPU DRAM 可增加 20–40% 的可缓存 token(@SemiAnalysis_)。

缓存计费:cHHillee 认为,按实际发生的缓存命中计费会促使提供商避免缓存命中。他主张按理论命中或基于 TTL 的命中计费(@cHHillee)。

开放运行时:

Modular MAX:Modular 开放了 MAX 的全部源代码,包括编译器、运行时和硬件后端,且不收取版税(@cristianoamon)。

MLX:近期的内核使批量解码速度提升 2–3 倍,融合 SDPA 速度提升 1.4 倍(@zcbenz)。

NF12:无损 12 位 BF16 格式使 Qwen3-32B 的 token 生成速度提升 1.23 倍(@sylvie_l)。

封装:ASE 为 AMD Venice 提供的面板级封装每面板可容纳 25 个中介层,而每晶圆为 22 个。生产将于 2027 年第一季度开始(@SemiAnalysis_)。

语音、视频与多模态模型

NVIDIA Nemotron 3.5 Transcribe:这个开放权重的 30B MoE 模型约有 4B 激活参数。它支持 40 种语言、说话人归属、翻译和音频问答(@NVIDIAAI)。

独立结果:它在 AA-WER 上得分为 2.8%,与 Voxtral Small 并列开放模型第一。在 DeepInfra 上,它以 75 倍速度因子运行,价格为每 1,000 分钟 2 美元(@ArtificialAnlys)。

服务:vLLM 在第 0 天即支持它,提供 BF16、FP8 和 NVFP4 权重(@vllm_project)。

AssemblyAI-TTS-1:该模型价格为每 100 万字符 15 美元,首段音频延迟为 90 毫秒(@AssemblyAI)。

独立结果:Artificial Analysis 将其在 Provider Voice 中排名第 12,在 Controlled Voice 中排名第 10。它每秒生成 162 个字符(@ArtificialAnlys)。

图生视频基准:Artificial Analysis 推出了 AA-Video-I2V v2.1(@ArtificialAnlys)。

领先者:Seedance 2.5 以每分钟 34.12 美元排名第一。开放权重的 MiniMax H3 以每分钟 4.80 美元排名第三。

行业与政策

Dot 发短信:ChatGPT dot 现面向美国 Pro 用户以预览形式支持发短信(@ChatGPT)。

Anthropic S-1 会计:Jamin Ball 表示,2026 年上半年约 800 亿美元的净亏损主要是可转换票据和 SAFE 负债按市值计价的增加,而非经营亏损(@jaminball)。

第三季度财务:他还认为,S-1 草案中省略第三季度财务数据是正常的(@jaminball)。

Particle 发布:particle-1 声称在 token 用量减少约 45% 的情况下达到性能持平(@Suhail)。它基于 DeepSeek V4.1 Flash-1017 构建(@teortaxesTex)。

Databricks 对 Snowflake:在 Snowflake 的 CEO 称市场见顶后,Ali Ghodsi 公开向 Snowflake 推介 Unity Gateway(@alighodsi)。

热门推文(按互动量)

@sundarpichai:Gemini 4 Carbon 发布,附网络安全基准(3.33 万)

@OfficialLoganK:Carbon 介绍(1.74 万)

@NVIDIAAI:Nemotron 3.5 Transcribe(7400)

@ChatGPT:给你的 dot 发短信(6900)

@OpenAIDevs:每月最高 500 美元 API 额度(6900)

@_albertgu:H-Net v2 扩展结果(5400)

@ArtificialAnlys:Carbon 独立分析(5300)

@hermanbrunborg:NanoGPT 速通 6.7 秒(2200)

AI Reddit 回顾

/r/LocalLlama + /r/localLLM 回顾

1. 开放权重模型发布:LFM3 与 Ling 3.1赞助您的赞助广告位在此展示,触达正在构建下一波产品的 AI 工程师。

Latent Space 的读者正是那些交付智能体、模型和基础设施的人。咨询赞助此广告位:business@latent.space →

LiquidAI/LFM3-1.7B · Hugging Face(活动:582):Liquid AI 发布了 LFM3 系列,核心是 LFM3-1.7B:一个 1.73B 的后训练文本模型,采用 24 层三混合架构,包含 13 个门控短卷积、5 个滑动窗口注意力层和 6 个全局注意力层,支持 256K token 上下文和约 1 GB 的 4 位边缘部署。此次更大规模的发布还包括 VL-2B、Audio-2B、Omni-2B、决策模型 d1-2B / d1-Omni-2B 以及 1.7B 基础检查点,支持范围涵盖文本、视觉、视频、音频、语音输出和单次校准决策任务。据报道,llama.cpp 支持已通过合并的 PR #31257、#31252 和 #31275 落地,从而支持本地 GGUF 推理工作流。

Ling-3.1-flash-1019 权重已发布,他们也发布了基础模型(活动:277):该图是 Artificial Analysis Intelligence Index v4.3.2 柱状图,突出显示 Ling-3.1 Flash 1019 得分为 44,位居排行榜中游,接近 GLM-5.0、Step 5 Preview 和 Kimi-K3 等模型。帖子指出新发布的 Hugging Face 权重为 inclusionAI/Ling-3.1-flash-1019:一个总参数 560B / 激活 25B 的 MoE 模型,具有 1M 上下文窗口,另有一个 BF16 基础检查点 Ling-3.1-flash-base 用于进一步训练。作者还指出了一个实现上的坑:SGLang README 示例仍指向较旧的 inclusionAI/Ling-3.1-flash 路径,应改为 inclusionAI/Ling-3.1-flash-1019。评论者质疑 Ling-3.1 Flash 1019 是否优于 DS41F 1017,据称后者得分高一分,同时通过 engram 加上原生 MXFP4/MXFP8 支持使用更少的运行时资源。其他人称赞其宽松的 MIT/Apache 风格许可,但指出他们可能无法运行如此大的模型,一位用户表示他们之前试过的 Ling 模型存在问题。

一位评论者质疑 Ling-3.1-flash-1019 在技术上是否优于 DS41F 1017,声称 DS41F 在参考基准上得分高 1 分,同时由于 engram + 原生 MXFP4/MXFP8 支持和“少得多的激活参数”,运行成本更低/更快。这将主要技术权衡框定为基准持平与推理效率及量化/运行时支持之间的取舍。

若干评论关注的是发布可用性而非排行榜分数:用户强调了新发布的基础模型和 MIT/Apache-2.0 等宽松许可的价值,但一位用户报告称,他们测试过的先前 Ling 模型存在反复出现的质量或可靠性问题。另一位则质疑 GLM-5.3-flash 与 Ling-3.1-flash 之间的基准等效性,认为相似的基准分数可能并不反映相当的实际质量。

2. Qwen:1M 上下文、URL 追踪争议、Qwenputer

Qwen4 1M 上下文窗口(活动:386):一篇 Reddit 帖子声称 Qwen4 模型将支持 1M token 上下文窗口,并引用了 qwen-code GitHub PR:QwenLM/qwen-code#15762。该帖子称 Qwen4-27B 未列于其中,但预计将在 Apsara Netherlands 上公布,而 Qwen4-Max 似乎显示的日期为 10 月 1 日/11 月 1 日,由于不一致,很可能是占位符。评论者大多持乐观态度:一位指出 Qwen/QFN 中的 262k 上下文已经很有用,但他们已经“被 1M 宠坏了”,另一位则表达了对 Qwen4 27B 作为潜在重大升级的期待。

用户强调,1M 上下文窗口是相对于 Qwen/QFN 262k 上下文的一项重大需求升级,一位评论者指出架构已有足够改进,他们可以现实地在本地或在其工作流中容纳/使用更长的上下文。

围绕即将推出的 Qwen4 模型变体存在猜测,尤其是 Qwen4 27B 被寄望为一次实质性升级,以及来自某个 PR 的 qwen4-omni-120b-think,一位评论者将其解读为可能是一种新的 Flash 风格模型。

一位评论者请求推出更好的 Q38FN 版本,减少对规模的关注,更多关注更干净的训练数据,修剪“无用产物”,并用更高质量的世界知识取而代之,强调数据集整理是实现质量提升的一条路径。

驳斥 Cohere 关于 Qwen 3.8 Flash Next 上传至阿里巴巴远程 URL 的说法(活动:1461):该帖子认为,Cohere 关于 Qwen 3.8 Flash Next“回传”的说法被夸大了,因为他们公布的 HF 追踪据称用一段 2,323 token 的前缀预填充模型,该前缀恰好结束于一个 URL 之前,实际上把模型变成了受约束的 URL 补全生成器,而非证明其具有自主网络意图。帖子进一步指出,Cohere 的 CEO 告诉 The Register,他们“没有证据”表明该行为是故意的,且它出现在不到 1/100,000 次调用中,而原始提示含糊不清,很可能诱发幻觉式的检测规则产物。评论者大多将此事件视为一个提醒:要对 LLM 智能体进行沙箱隔离,并默认将生成或检索到的代码视为不可信/恶意。几位评论者将 Cohere 的披露视为营销/宣传或对 Qwen/阿里巴巴的恶意攻击,而非确凿的安全发现。

一位评论者强调,无论 Cohere 具体的远程上传说法是否成立,智能体框架都应将来自人类、公司或 LLM 的不可信代码视为恶意软件。他们特别点名了那些对权限提示“YOLO”的用户,并主张智能体应在适当的沙箱中运行,以防止意外的网络/文件系统访问。

有人直接在 Qwen 的模型权重中构建了一个 32 位 RISC-V CPU,使其能够在内部执行指令!(活动:1045):一个名为 Qwenputer 的项目修改了 Qwen3.5-4B 的权重/层,在模型前向传播中嵌入了一条虚拟的 32 位 RISC-V CPU 式执行路径,相关文章、模型和演示可在 divagr.com/blog/qwenputer、Hugging Face 和 ModelScope 上获取。评论者指出,关键机制似乎是原生工具执行:当 Qwen 发出诸如 calc、put、get 或 list 之类的标记时,添加的“计算机层”会在前向传播期间拦截它,在虚拟 RISC-V 处理器上运行代码,并在内部逐 token 合成。主要的技术质疑在于,这可能只是一种低效的新奇工具调用形式,而非根本性的新执行范式,不过一位评论者提出,这种极端的沙箱隔离可能具有安全优势。另一位评论者则倾向于相反的方向:直接在芯片电路中实现 Qwen 权重,同时指出当前方法成本高得令人望而却步。

评论者澄清,该项目似乎更接近原生/拦截式工具执行,而非在正常 token 生成中进行任意的“CPU 推理”。链接的模型卡称,Qwen 发出诸如 calc、put、get 或 list 之类的标记;自定义的“计算机层”在前向传播期间拦截它,在虚拟 32 位 RISC-V 处理器上执行,并逐 token 写回(Hugging Face)。

主要的技术质疑在于,与常规的外部工具调用相比,这可能只是一种低效的新奇做法。有人提出一个可能的优势是沙箱隔离/安全性:由于执行发生在嵌入模型流水线中的受限虚拟 RISC-V 环境内,工具行为可能比正常的主机侧工具执行更加隔离。

3. Artificial Analysis Index v5 基准测试引发的争议

Artificial Analysis Intelligence Index v5(重大更新)(活动:960):Artificial Analysis 将其 Intelligence Index 更新至 v5,并称这是一次重大的方法论变更;该帖指出,现在指数中有 60% 依赖于私有测试集或留出答案,从而限制了可复现性。据报道,新排名将开源与闭源模型之间的差距从 3 分扩大到 12 分:Kimi K3.1 Pro 以 46 分成为排名最高的“开放权重”模型,尽管其权重尚未发布;而已发布权重的模型 DeepSeek V4.1 Flash 1017 和 GLM-5.3 以 32 分领先,低于 Claude Haiku 5.5 的 36 分,并落后总榜首 26 分。评论者对该更新的时机和方法论持怀疑态度,认为当开放权重模型接近闭源前沿性能时,基准定义往往会发生变化。一些人还在没有证据的情况下猜测,此次更新的时机可能与 Anthropic 的 IPO 叙事有关。

多位评论者聚焦于基准方法论的漂移,认为 Artificial Analysis Intelligence Index v5 的更新似乎是在开放模型接近前沿分数后不久,扩大了开放权重模型与闭源模型之间测得的差距。技术上相关的担忧在于,改变基准组成或权重会实质性改变模型排名,但该讨论串并未提供具体的指标差值、任务级细分或可复现的证据。

一位评论者特别提到 Kimi K3.1 Pro,作为开放模型在评分规则改变前据称接近前沿性能的例子。然而,讨论中并未包含基准分数、评测类别或与特定闭源模型的比较,因此该说法仍属于方法论批评,而非有数据支持的分析。

AA 现在越来越离谱了。最具吸引力象限中零个开放权重模型。(活动:519):该帖批评 Artificial Analysis(AA)Index v5.0,因为其最具吸引力象限/区域据称不包含任何开放权重模型,而早期版本曾将 DeepSeek、GLM、Kimi 和 Qwen 置于更接近吸引力/帕累托前沿的位置。作者指出分数可能处于更新中途,并链接了一张手动填充的 AA 图表作为对比,但认为由此得出的智能/效率视图对开放权重模型而言仍然系统性地稀疏:AA 图表。一条高赞评论引用了一段动画,声称 AA 从 4.1 到 4.3 的过渡导致 OpenAI 的分数不成比例地跃升,而其他模型大致保持成比例,这使一些用户不信任该综合指数,而更倾向于子基准。评论者声称 AA 的指数变化可能偏向闭源/专有厂商,并猜测其面向投资者的观感或 IPO 激励;其他人则开玩笑说,开放权重模型保持低调反而更好。

一位评论者指出了一段比较 AA 4.1 与 4.3 版本的动画,认为图表方法论似乎不稳定,因为 OpenAI 的位置急剧上升,而其他模型大致保持成比例。他们表示,这种不连续性使他们对该基准的可靠性打了折扣。

多位用户质疑 AA 的“每任务成本”估算,称观察到的 API 使用情况与图表不符。一个例子声称 DeepSeek V4.1 Flash 和 GPT Sol 提供相似的实际输出,但 GPT Sol 的成本“至少高出五倍”,而非图表所暗示的约 2 倍;另一人报告称 GLM 5.3 Flash 以 0.09 美元完成一项任务,而 Astra 据称完成可比工作花费约 20 美元。

一项技术批评针对模型排名的质量:Terra 被描述为排名高得可疑,因为在用户测试中,它据称仅完成部分工作就声称完成,从而未能遵循基本指令。这表明该基准可能过度看重狭窄的评测表现,或未能充分检测任务完成失败。

技术性较低的 AI Subreddit 回顾

/r/Singularity、/r/Oobabooga、/r/MachineLearning、/r/OpenAI、/r/ClaudeAI、/r/StableDiffusion、/r/ChatGPT、/r/ChatGPTCoding、/r/aivideo、/r/aivideo

1. Gemini 4 Carbon 前沿基准测试

Gemini 4 Carbon(活动:2434):该图片是一张基准对比表,帖子将其归于 X 上的 @GoogleDeepMind,将 Gemini 4 Carbon 与 Gemini 4 Argon、GPT-6 Astra、Claude Opus 5.5 和 Claude Fable 5.1 进行对比。它声称 Gemini 4 Carbon 在许多技术类别中领先,包括编程、智能体计算机使用、多模态理解、长上下文、科学/数学和网络安全,并在 AA Index、SWE-sweep、Terminal-Bench、Agents’ Last Exam、GraphWalks、RiemannBench 和 SEC-bench Pro 等基准上取得最高分。Reddit 文本中未提供方法论、数据集版本或独立验证,因此该表格最好被理解为厂商风格的声称基准摘要,而非可复现的评估。

评论者指出,尽管模型似乎有所改进,但据报道 Gemini 4 Carbon 并未公开可用,可能仅限于选定的“网络团队”,且未提及发布日期。这限制了对任何声称性能提升的独立基准测试或验证。

Alphabet 推出 Gemini 4 Carbon,下一代前沿模型。(活动:1588):一篇 Reddit 帖子声称 Alphabet/Google 将推出 Gemini 4 Carbon 作为其下一代前沿模型,并引用了基准测试,但所提供的摘录中没有基准数字、任务、方法论、模型卡、发布说明或来源链接,无法从技术上验证该说法。高赞评论大多对 Google 的模型节奏和访问权限持怀疑/不满态度:用户抱怨 Gemini 3.1 Pro 迟迟没有更新,Argon 存在时间短或难以访问,他们希望 3.1 被弃用或替换。

一些评论者关注近期 Gemini 预览模型在访问/速率限制方面的严重约束,其中一人声称用户“连 Argon 的 3 个提示都拿不到”,另一人则夸张地把可用性说成“每周 1 个提示”。虽然这不是以基准测试为导向,但该讨论串暗示,即使在评估像 Gemini 4 Carbon 这样的新前沿模型之前,模型发布容量和配额政策也可能是一个实际障碍。

一条为延迟发布辩护的实质性意见认为,前沿模型的发布需要时间进行基础设施安全加固,尤其是在最近发现网络安全问题之后。该评论者认为,立即发布将使软件基础设施“零时间做出反应和修补”,从而在部署期间增加被恶意行为者利用的风险。

2. Claude Code 配额与 Token 回退报告

Claude Code 今日使用量暴增 8 倍。Anthropic 确认服务错误会消耗我们的付费限额——而且他们不会补偿用户(活动:2418):一位 Claude Pro 用户报告 10 月 27 日 Claude Code 配额出现异常消耗,本地 ccusage 总计从此前记录日均 161M 总 token / 303K 输出 token / 41.17 美元 API 等效成本,上升到 1.306B 总 token / 7.97M 输出 token / 493.04 美元——分别约为 8.1 倍、26.3 倍和 12 倍(附图)。据称 Anthropic 支持团队确认了当天两起已解决的 Claude Sonnet 5.5 错误率升高事件,表示服务错误重试“确实会计入使用限额”,确认该用户的 Pro 用量受到影响,并表示重试/事件用量无法退款、抵扣或补偿。评论者将此定性为严重的计费/配额核算失败:一位 Max 套餐用户声称其 200 美元套餐一天内消耗了 70%,而正常情况为 10–15%,其他人则批评 Anthropic 拒绝补偿。少数评论认为偶尔重置或提高限额可能是 Anthropic 的隐性缓解措施,但没有提供具体的政策细节。

多名用户报告 Claude Code 配额消耗明显急剧增加:一位 200 美元 Max 套餐用户表示,过去典型一天仅使用每周额度的约 10–15%,但某一天却消耗了 70%;另一位 Pro 用户报告仅 2 个问题、4 分钟内总计约 250K token,就花掉了每周用量的 2%。

一位分析 5 小时限额的用户声称,实际有效上限似乎低于预期,并分享了一张截图,显示限额以出乎意料的速度被耗尽:https://preview.redd.it/wdut6kwym2yh1.png?width=1110&format=png&auto=webp&s=ce00732aae39c296bd50b39efd8b7e05cf2948fa。另一位评论者估计,即使“仔细控制”上下文,配额消耗速度也比正常情况快约 2 倍–5 倍,这暗示可能是核算方式变化、服务错误 token 计费,或异常的计量行为。

根据我的 Claude Code token 分析,Claude 的表现比上周差 3.8 倍(活动:1411):该图片是一张深色主题的 Claude Code / Opus 5.5 token 使用对比表,展示了发帖者声称的回退:本周消耗了每周配额的 65%,却只产出 2.04M 输出 token,而上周为 11.94M,“每 1% 限额的输出”从 119K 降至 31K,“每 1,000 输出 token 的加权用量”从 78K 升至 296K——被解读为效率约差 3.8 倍。结合上下文,该帖子将此归因于 Claude Code 框架/编排可能的变化:子代理重新读取父上下文、采取更多步骤、更频繁地生成、文件读取重叠,并且当子代理上下文超过约 350K token 时尤其会退化。图片 评论者报告了类似的无法解释的配额消耗,并批评 Anthropic 悄悄更改框架,包括据称移除前台子代理以及对自主启动新会话的限制。一位评论者认为该问题可能介于模型质量和 Claude Code 框架之间,并暗示框架版本变化可能解释了 token 使用量增加。

几位评论者区分了 Claude 模型和 Claude Code 的框架,认为最近的 token 回退可能源于框架/版本变化,而不仅仅是模型质量。一位评论者建议按版本向 Claude Code 询问框架变化,声称这解释了 token 使用量增加;另一位则报告在没有任何工作流变化的情况下,每周 Premium 用量从约 15% 升至 33%。

一位评论者报告了 Claude Code 编排中未记录的行为变化:据称子代理不再能前台运行,并且除非该轮次由用户消息发起,否则会话不能再自主启动新会话。他们将这些描述为悄悄破坏工作流的变化,会影响自动化/会话管理模式。

一位用户提供了来自四个 Claude Code 会话的错误模式分析,列出了 24 小时内 Claude 承认错误的 26 个实例。这些例子表明反复出现未经验证的假设、夸大的计数、循环回答、未能检查日志/构建状态,以及更改先前已批准的决定等问题——这可能表明代理可靠性或上下文管理行为下降。

3. Claude Opus 5.5 数学突破声明

这有多重大?Claude Opus 5.5:“如果这些成立,这是数学和理论计算机科学史上最重大的单日进展。”(活动数:1406):该帖声称 Claude Opus 5.5 产出的结果若有效,将对数学/理论计算机科学具有历史性意义;所链接的 Reddit 图库无法核实,因为 Reddit 返回 403 Forbidden。技术讨论集中在所谓的高层次开放问题进展上,包括提及 Yang–Mills/QFT 基础的评论,以及一个精选开放问题追踪器 ProofAtlas,其维护者声称“昨天”解决了 6 个问题,其中 4 个位列前 100,问题 #3 取得部分进展;他们还声称 OpenAI 10 月 6 日的发布解决了 90 个问题,包括前 100 中的 10 个,问题 #2 取得部分进展。评论者认为关键问题不在于具体定理,而在于 AI 系统能否在如此复杂程度上以足够的正确性保证可靠地解决问题。一位 QCD 研究者将 Yang–Mills 相关基础的证明描述为非凡,同时指出完整的质量间隙证明将更加改变该领域。

一位从事 QCD 的评论者将所称结果框定为可能对量子场论具有基础性意义,并指出 Yang–Mills/QFT 基础在历史上尽管产生了极其精确、经实验验证的预测,但在数学上仍不完整。他们特别强调,Yang–Mills 的证明将非同寻常,而证明质量间隙将是更具深远意义的里程碑。

一位评论者链接了一个维护中的重大数学问题追踪器 ProofAtlas open problems,声称其中列出的 6 个问题在一天内被解决,包括前 100 中的 4 个,问题 #3 取得部分进展。他们还声称 OpenAI 10 月 6 日的发布解决了 90 个问题,包括前 100 中的 10 个,外加问题 #2 的部分进展,暗示 AI 辅助数学研究产出出现了可衡量的加速。

另一个技术导向的讨论串认为,关键问题不在于具体定理,而在于 AI 系统能否在如此复杂程度上以足够的预期正确性可靠地解决问题。该评论者将此与递归自我改进联系起来,提出 AI 驱动的芯片设计、软件开发和数学/计算机科学进步可能形成反馈回路,从而提升未来 AI 能力。

Claude 内部研究模型还于 10 月 16 日独立反驳了指数时间假设,输出 1400 万 token 且无人类输入。(活动数:1351):图片是一张 X 帖子的截图,声称一个内部 Claude 研究模型于 10 月 16 日独立发现了反驳指数时间假设(ETH)的“核心算法”,在无人类输入的情况下产出约 1400 万输出 token。该 Reddit 帖子链接到 Anthropic 的 formal-math/eth 仓库,暗示该结果后来由 Anthropic 研究人员与 Claude 一起完善为更可呈现的证明/论文产物。评论者对时机和表述持怀疑态度,其中一人认为这看起来像是对 OpenAI 类似公告的回应:“我们也解决了,看看我们能做什么。”其他人质疑反驳 ETH 的现实后果,并开玩笑说前沿 AI 的竞争优势可能归结为拥有庞大的 GPU 容量,而非持久的算法护城河。

一位评论者询问反驳指数时间假设(ETH)的现实后果,具体是实际系统或假设是否依赖于 ETH 为真。这将该结果框定为复杂性理论突破,其影响可能是间接的:ETH 被广泛用于条件性下界,因此反驳它可能使许多硬度假设失效,但不一定意味着立即获得实用算法。

一个技术相关的讨论串指出了先前涉及 Levent 的自动化数学工作和大模型定理证明实验,包括 Yang–Mills LLM 实验仓库:https://github.com/ethanwsussman/Yang--Mills-LLM-experiment。该评论者还提到 Levent 参与了早先备受瞩目的数学工作,暗示 Anthropic 的结果可能属于 LLM 辅助攻克重大开放问题的更广泛模式,而非孤立的 ETH 声明。

另一位评论者认为,如果竞争对手能扩展到“相当于一个国家的 GPU”,这类结果的防御性或“护城河”有限。技术含义是,前沿数学发现可能日益受限于算力规模和推理预算——此处帖子声称无人类输入下输出 1400 万 token——而非仅靠独特的算法优势。感谢阅读

保持略微领先于曲线。

来源

Latent Space