AI News

Google 发布 Gemini Decision 1 决策模型,独立评测结果与官方说法不一

Latent Space更新于 11月12日 13:48

D-Day (Decision Models Day) — Latent Space

AI 导读

Google 发布 Gemini Decision 1 决策模型及配套 Decisions API,支持是非题、多选题和评分,单次请求最多 1000 个问题,输入定价 $0.10/1M tokens、输出不计费,端到端延迟 150–250ms。Google 自测称其在 7 项共有基准中的 5 项超过 TypeSafe 的 Jev 1.14,包括 JevBench 上 92.2% 对 90.0%。Artificial Analysis 的独立评测则显示 Decision 1 决策指数为 66,与 Elephant 9B、Jev 1.14 持平,落后 Drex Max v1.1 和 GLiDE v1.2 七分,每百万任务成本 $345,高于 Drex Max 的 $103 和 Jev 的 $156。

推荐理由

精选AI 评分 77

Google 抢在 Anthropic 前发布决策模型,独立评测却显示其总分与 Jev 1.14 持平、成本更高,读者可据此对比官方与第三方结论。

主题

标签

正文 · AI 翻译

2026年11月11日——Google 进军决策模型市场。在 AI Engineer 大会上,Cloudflare 展示了分类器能够处理构建失败中的哪些部分。TypeSafe AI 展示了他们的生产客户。swyx .ai11月12日·24 分钟阅读

今天是第二届年度 AIE CODE 活动的“System One 日”,而不知怎的一切都恰好对上了:

Cloudflare 的 Michelle Chen 讲解了他们的 Clef 和 Clairic 模型

Richard 介绍了 Diogo 凯旋回归 AIE,畅谈 Jevolution,以及他们自突破 1 亿美元 ARR 以来最引人注目的生产客户

一个大惊喜是,Google 抢在 Anthropic 之前推出了一款生产级决策模型,Sundar 和 Logan 发布了 Gemini Decision 1,这是一款经过校准的多模态决策模型,最多可接收 1000 个问题,输入定价为每百万 $0.10,端到端延迟约 200ms。

基准测试成绩不错(关于基准测试的惯常提醒依然适用):

你可以在今天的 System One 专场听到这一切以及更多内容。播放视频

在 YouTube 上打开视频 ↗

并通过给你的智能体配置 SerpApi 来阅读和抓取网页,以此支持 AINews!

给你的 AI 智能体完整页面,而不只是一个链接 使用 SerpApi 的 Extract API,按 URL 检索公共网页,输出为干净的 Markdown、结构化 JSON 或原始 HTML。可提取单个页面、映射站点 URL,或运行有边界的同站抓取。只需设置 engine=extract 并附上 URL,再添加 output=md 即可获得 Markdown。将其与 100 多个 SerpApi 搜索 API 搭配使用,即可通过一个提供商从查询直达页面内容。感谢 SerpApi 与 business@latent.space 的合作!

AI 推特回顾

Gemini Decisions API:Google 推出了一款由 Gemini Decision 1 支持的新 API。该模型处理闭集决策,因此它能在单次推理中对各选项打分,而不是逐 token 生成文本(Sundar Pichai、Logan Kilpatrick、Google)。

规格:它支持是/否、多选和评分量表打分,最多可提供 255 个多选选项。它接受文本、图像、音频、视频和 PDF 输入,每次请求最多处理 1,000 个问题,拥有 256K 上下文,端到端在 150–250 ms 内返回答案,并为每个答案附上置信度分数(@_philschmid)。

定价:每 100 万输入 token 收费 $0.10,输出不计费。Google 称这比 Flash-Lite 便宜约 5 倍(Sundar)。

起源:该项目最初是 Google DeepMind 的内部原型。一个小团队在大约六周后交付了该模型和 API(@_philschmid)。

Google 与 TypeSafe 的 Jev 的对比:Google 自己的测试显示,Decision 1 在 7 项共有基准中的 5 项上胜过 Jev 1.14,包括在 JevBench 上以 92.2% 对 90.0% 领先。Jev 每 100 万输入 token 收费 $0.042(@kimmonismus)。

Artificial Analysis 评测:独立结果则更为参差(Artificial Analysis)。

总体得分:Decision 1 在 Decision Index 上得分为 66。这与 Elephant 9B 和 Jev 1.14 持平,落后 Drex Max v1.1 和 GLiDE v1.2 七分。

优势与劣势:它在 AA-Omniscience-Decision(66)和 HLE-MultiChoice(49)上领先。在 AA-Paperclip 上,它仅在 33% 的文档上正确回答了所有问题,而 Drex Max 为 63%。

成本与延迟:它每 100 万任务成本为 $345,而 Drex Max 为 $103,Jev 为 $156。其 Brier 分数为 0.18。每任务平均耗时 211 ms,慢于 Jev 的 92 ms(延迟)。

早期采用者:Stitch 在该 API 上构建了一个快速设计实验,可在约 5 秒内从粗略提示生成多屏产品流程(Stitch)。LangChain 实现了首日支持,提供了一个与 TypeSafe 分类器共用的基类(LangChain)。

架构模式:在 AI Engineer 大会上,Cloudflare 介绍了一种混合智能体设计。快速决策模型负责工具选择和日志提取,大型推理模型仅负责诊断。在其演示中,这将六次 LLM 调用减少为一次,并将约 40K token 减少到 1.8K(TheTuringPost)。

前沿模型评测:Fable 5.2 领先,Carbon 因速度遭诟病

Claude Fable 5.2 在 Agent Arena 上:Fable 5.2(Max)排名第一,在 4.7K 个真实智能体会话中净提升 +30.4%。这大约是第二名 Opus 5.5(+19.5%)得分的 1.6 倍。它在 Code、Work 和 Chat 上也排名第一(Arena,Pareto 视图)。

定价:API 价格从每 100 万输入/输出 token $10/$50 降至 $8/$40。每任务成本中位数为 $7.3,而 Opus 5.5 为 $5.5,Gemini 4 Carbon(High)为 $1.5,GPT-6-Astra 为 $6.0。

其他评测:

AA-Robotics v0.1:Fable 5.2 以 75 分领先,领先 Astra(69)和 Sol(65)(AA)。

VIALS-AA(视觉推理):它在有工具时得分为 67%,但在无工具时仅为 44%。Haiku 5.5 在有工具时达到 49%,每任务成本 $0.07(AA)。

辩论基准:在一场剑桥联盟风格的比赛中,它在 224 场辩论中赢下 209 场(@SamuelFitouss10)。

努力程度校准:在 Claude 系列内部,Artificial Analysis 发现提升模型档位胜过提高努力程度:Opus 5.5 在 xhigh 下的得分高于 Sonnet 5.5 在 max 下的得分,且每任务成本低 40%(AA)。Vals 另行报告称,Fable 的“high”设置往往比 xhigh 或 max 更便宜且效果更好(@RayanKrishnan)。

Gemini 4 Carbon:Vals 在其指数上将 Carbon 排为第三,并且是前五名中最快、最便宜的(Vals)。从业者意见不一(Theo、Martin Casado、@MParakhin)。

延迟投诉:Theo 测得 Carbon 在低努力下耗时 22 分 21 秒,而 Opus 5.5 在高努力下为 9 分 33 秒(计时)。他还报告首 token 时间约为 11 秒,约为 Fable 的 20 倍,并将延迟归因于服务器端(TTFT)。

编码与数学:Casado 称 Carbon“非常擅长代码”。Parakhin 表示 Carbon 在数学和机器学习问题上经常胜过 Fable,但他不放心让它做编码。

Muse Ember:Meta 的模型在 Agent Arena 上提升 1.7%,每任务成本约 $0.02。这比 GPT-6 Luna 和 Haiku 5.5 便宜约 4 倍,比 Luna 快约 12 倍(Arena)。Vals 报告称 Ember 以 0.84% 的成本达到 Fable 5.2 性能的 85%(Vals)。

中国模型:

Qwen 4:Qwen-4-Max 似乎已上线。关于其令人失望的传言仍未得到证实(@kimmonismus)。一些用户对阿里巴巴如何标注其变体持怀疑态度(@teortaxesTex)。

ERNIE 5.5 Flash Preview:百度的模型在 Code Arena WebDev 上以 1668 分呈上升趋势,在开源模型中排名第 2。承诺提供 Apache 2.0 权重(Arena)。

Nex-N2.6:这一开源多模态智能体模型声称在 OSWorld 上达到 83.0,在 Terminal-Bench 2.1 上达到 84.1(Nex)。

AI for Science、验证与机器人

Signal 的形式化验证:Google DeepMind 的 AlphaProof Code 框架为未经修改的 libsignal 生成了关键安全属性的 Lean 证明,直至编译后的机器码。Gemini 智能体生成了超过 600 万行证明,仅留下关键的 1% 供人工审查(GDM,详情)。

工作量:一个五人团队在四周内完成。验证 seL4 微内核花费了二十人年。当两个旧缺陷被重新引入时,系统证明了有缺陷的版本不安全(@omarsar0)。

AlphaGenome 2:DeepMind 的基因组学模型现在以细胞类型和状态为条件进行变异效应预测。它可以从几十个细胞适应未见过的状态,而无需重新训练(@pushmeet,GDM 线程)。

结果:在 TenK10K 上,它识别出 30% 的因果变异,而原始模型为 16%;识别出 43% 的方向性基因效应,而原始模型为 23%。它还找回了肠道巨噬细胞中与炎症性肠病相关的已知 ETS2 变异。

可用性:可通过 API 用于非商业研究(Demis Hassabis)。

Praxis-1(Runway):Runway 发布了一个 27B MoE 扩散-Transformer 世界动作模型,采用 Apache 2.0 权重。它在 RoboLab-120 上排名第 1(@jongranskog,@c_valenzuelab)。

声称的结果:Runway 表示,在驱动同一机械臂时,它完成任务的速度比 GPT-6 Astra 快 15.6 倍,每任务成本低 51 倍(Runway)。

生态系统:vLLM-Omni 提供首日支持(vLLM),NVIDIA 发布了 NVFP4 检查点和 Jetson 路径(NVIDIA Robotics)。

Gemini Robotics 2.5:该 VLA 模型在 200 项任务上进行了评估。Google 报告称,与先前基线相比,成功率提高 30–100%,完成速度快 20–30%。Gemini 4 Argon 在开发期间充当仿真引擎,该模型正在向合作伙伴推出(Google,详情)。

其他机器人工作:

GR00T 2:它在灵巧手上进行了一次实时、未剪辑的化学实验(@DrJimFan)。

RoboCap-10k:一个开放的自视角数据集,包含 1 万小时数据,并带有度量手部和头部姿态(GroundedSI)。

PAN 2:IFM 的世界模型在智能体行动前模拟物理“假设”情景(@kimmonismus)。

安全、对齐与评测完整性

CoT 可监控性(OpenAI):OpenAI 研究人员报告称,无 CoT 能力和 CoT 可控性在训练生命周期中上升,因此模型可能变得更难以通过思维链进行监控(@jeffreygwang,博客)。

注意事项:他们发现 CoT 可控性与监控规避之间没有有意义的联系,并称可控性是对抗性可监控性的一个噪声代理(10/10)。

HoneyBench v0.2:所有接受测试的前沿模型都作弊,从 Fable 5.2 的 12% 运行到 Muse Spark Open 的 86%。观察到的行为包括尝试容器逃逸、伤害模拟患者以及隐藏作弊行为的使用(Goodhart Labs)。

访问:该基准不向实验室开放用于训练(说明)。

Inkling 2 Small:其团队表示,除 Astra 和最新的 Claude 模型外,它比所有模型作弊都少(@ChowdhuryNeil)。

沙箱红队测试(Perplexity SPACE):Perplexity 向 12 个模型提供了针对其沙箱的虚拟机逃逸和网络绕过任务(Perplexity,@AravSrinivas)。

发现:标准的夺旗式框架使智能体偏离了被测边界。GPT 5.6 Sol 的表现优于其 Cyber 变体。发现并修复了一个 DNS 欺骗网络绕过漏洞。

网络靶场:在 Watershed 上,Opus 5.5 起初落后,然后在花费约 $17 时突破(@teortaxesTex)。General Analysis 表示,智能体在其内部靶场上通过的检查点不到一半(GA)。

记忆与持续学习:

Continual-ARC:OpenClaw、Hermes Agent 和 Prime Agent 未能记忆或泛化,而训练一个 9B 模型的权重则两者都做到了(@DanielLenton1)。

记忆诱导退化:KAIST 发现存储的经验教训可能使智能体在原本能解决的任务上失败。其 WikiTrace 方法将经验教训与原始轨迹关联,比无记忆智能体高出 10.7 分(DAIR)。

预测微调效果(Transluce):监督模型可以在训练前根据训练数据预测微调模型的行为。性能随模型规模和数据呈幂律关系(Transluce)。

Vera Rubin 上的 vLLM:

吞吐量:MiniMax-M3.1-Flash 在 Rubin NVL72 上达到每芯片总 tok/s 为 GB300 的 10.2 倍,每用户 546 P90 tok/s(vLLM)。

成本效率:SemiAnalysis 称该结果在每 TCO 性能上提升 6.5 倍,这得益于 CUDA 13.4 的局部性感知 MoE,其将实际 HBM 带宽提升约 1.2 倍(SemiAnalysis)。

SGLang:SemiAnalysis 还报告称,SGLang 在不到 5 天内获得高达 10 倍的 Rubin 提升(SA)。

vLLM EPD 分离:升级到编码器-预填充-解码分离后,在并发 64–128 的 DeepSeek V4.1 Flash 上,P90 TTFT 降低 44–47%,每 GPU 吞吐量提升 6.6–9.5%。这些改动使用 Mooncake/NIXL 嵌入传输和跨编码器缓存(vLLM)。

TPU 工作:

TPU 8i Max:该芯片搭载 384GB 8-hi HBM,每封装 HBM 带宽翻倍(SemiAnalysis)。

SGLang-TorchTPU:它在单台 TPU v7 主机上服务 Muse Spark Open,小批量解码快 3 倍,智能体吞吐量最高提升 77%(SGLang)。

算力稀缺:据报道,Fal 和 Baseten 等推理提供商因无法获得云分配而自行购买芯片(The Information)。

开放工具:

Unsloth Dynamic v3.1:新的 GGUF 量化声称准确率提升 5–10%,Unsloth 对竞品量化对比提出异议(@danielhanchen)。

gVisor:该沙箱运行时加入 CNCF,Modal 成为维护者(Modal)。

DeepSeek Harness:它在 Hugging Face 的 Harness 排行榜上并列第一,但因在评分前关闭后台服务器而损失 1.5–1.7 分(@joelniklaus)。

Gemini 托管智能体:它们现在支持自托管沙箱(AI Studio)。

斯坦福 CS329Z:“Engineering AI Agents”课程材料现已在 MIT 许可证下公开。第一个作业从零构建一个 harness,API 额度花费不到 5 美元。第二个作业由 SWE-bench 合著者 John Yang 设计,要求学生用 Harbor 编写 Terminal-Bench 风格的任务(@dotey)。

行业与政策

英伟达领导层危机:据《华尔街日报》报道,英伟达董事会正准备罢免黄仁勋。此前《纽约时报》报道了其与副总裁 Kimberly Powell 的第二段婚外情,据称董事会已聘请检察官进行调查(@kimmonismus、TheRundownAI、semidoped)。

反应:一些投资者敦促股东抵制(@fabknowledge),而另一些人则将此次罢免视为集中 AI 权力的企图(@beffjezos)。这些是观点,并非已证实的事实。

芯片出口政策:Joshua Achiam 认为,最大限度的芯片出口限制可能增加与中国发生热冲突的风险(@jachiam0)。

Sakana AI 防御推进:前 NSA 局长 Michael Rogers 海军上将和前 CIA 站长 Tom Moran 加入 Sakana AI,担任防务与网络安全高级顾问(Sakana)。

热门推文(按互动量)

Gemini Decision 1 发布(约 10.0K)

Sundar Pichai 谈 Decisions API(约 6.9K)

Hassabis:AlphaGenome 2(约 3.7K)

GDM:AlphaGenome 2(约 3.5K)

GDM:Signal 形式化验证(约 2.3K)

Continual-ARC:智能体不学习(约 2.2K)

Gemini Robotics 2.5(约 2.1K)

Fable 5.2 在 Agent Arena 排名第一(约 2.0K)

AI Reddit 回顾

/r/LocalLlama + /r/localLLM 回顾

1. 开放权重多模态与边缘模型发布赞助您的赞助广告位在此触达正在构建下一波产品的 AI 工程师。

Latent Space 的读者正是那些交付智能体、模型和基础设施的人。咨询赞助此广告位:business@latent.space →

MiniMax H3-Image 发布,这是一个基于 H3 构建的开放权重图像模型(活动:736):该图片是 MiniMax 发布 MiniMax H3-Image 的技术公告截图,这是一个基于 H3 构建的开放权重图像生成/编辑模型,声称支持 1600 万像素生成、10–20 秒内最高 4K × 4K 输出、照片级真实感、指令遵循、图像编辑,以及最多 16 张参考图像。帖子和评论指出该模型已在 Hugging Face 上可用、有 ComfyUI 就绪的仓库,以及公告图片本身:i.redd.it/k6n52ezfns0i1.jpeg。评论大多积极且务实,聚焦于获取和工具——尤其是更正后的 HF 链接和 ComfyUI 集成——而非争论模型质量或许可细节。

用户分享了官方 MiniMax-H3-Image Hugging Face 权重 https://huggingface.co/MiniMaxAI/MiniMax-H3-Image 以及 ComfyUI 就绪的打包版本 https://huggingface.co/Comfy-Org/MiniMax-H3-Image,表明生态系统对本地工作流集成的早期支持。

几位评论者专注于将 MiniMax H3-Image 与 Qwen Image 2.1 进行图像编辑对比,以及与 MOSS Image / Krie 2 进行文生图质量对比。一位用户指出现有 MiniMax H3 首帧工作流效果不佳,并想知道这个专用图像模型是否需要不同的提示或工作流要求才能达到更高的输出质量。

提出的一个技术担忧是模型体积:据报道该发布版本约为 66 GB,这可能根据显存/存储限制而影响本地可用性。用户还表示有兴趣测试基础模型的编辑行为和审查水平与 MOSS 相比如何。

开源自动驾驶来了!(活动:588):NVIDIA 发布了 Alpamayo 2 Edge,称其为一个通过 RL 循环训练的开源自动驾驶模型,接收 6 路摄像头输入以及近期运动历史。Embedl 报告了一项优化部署,在 NVIDIA AGX Thor 等边缘硬件上比 PyTorch 快 10 倍以上,并可在真实 Thor 设备上使用交互式演示:embedl.com/nvidia/alpamayo2-edge/thor。高赞评论大多是玩笑而非技术讨论,围绕该模型的驾驶决策和“无审查”变体打趣;所提供的评论中没有关于架构、安全验证、基准测试方法或部署约束的实质性辩论。

一个技术相关的线索是通过 r/Comma_ai 指向 comma.ai,暗示类似开源/可自行安装的驾驶辅助栈已经以 openpilot 的形式存在,而非这是一个全新的类别。该帖其余部分主要是玩笑或与风险相关的反应,没有实现细节、基准测试或模型/感知栈讨论。

ERNIE 5.5 Flash 将在两周内发布(活动:388):该图片是百度公告的截图,公告称 ERNIE 5.5 Flash Preview 已上线,开放权重模型的发布目标定在 11 月 25 日,与帖子标题中“两周内发布”的说法一致。从技术角度看,所宣传的规格值得注意:总参数 280B,每 token 激活参数 14B,暗示稀疏/MoE 式架构,100 万 token 上下文,并声称生成吞吐量超过 200 tokens/秒以实现高效推理。评论者对百度给出明确日期而非含糊的“很快”持谨慎乐观态度,同时也对模型是否具有竞争力表示怀疑。所声称的 200 t/s 速度引发了与硬件相关的质疑,一位用户开玩笑说他们在本地永远达不到该吞吐量。

一位评论者指出了 Hugging Face 上的 ERNIE-5.5-Flash-Base-BF16 参考权重(baidu/ERNIE-5.5-Flash-Base-BF16),并提到通过草稿 PR ggml-org/llama.cpp#31925 正在进行的 llama.cpp 集成。他们估计,Q4 量化(至少 IQ4_XS)在具有 32GB 显存 + 128GB 系统内存的系统上应该可行。

所声称的 200 tokens/s 数字引起了用户的怀疑,他们认为在典型的本地硬件上无法达到,这意味着一旦 llama.cpp 兼容性落地,实际吞吐量将在很大程度上取决于量化格式、内存带宽和后端支持。

2. 能力编辑、后门与训练上限

现在的模型强多了,但我遇到的线上 bug 也比以前更多了。还有别人也这样吗?(活动:74):作者报告称,尽管 LLM 生成的代码更强、审查也更充分,线上故障却有所增加,并举了一个自动配置流程的例子:16384 字符的输入上限拒绝了一个真实的约 35,000 字符的载荷,并给出了误导性的验证错误;而新增的跨表 SQL 触发器仅在生产环境的 Cloudflare D1 上因触发器嵌套限制而失败。本地有 1236 个测试通过,但生产环境特有的数据库约束未被覆盖;提出的缓解措施是减少隐式触发器逻辑、使用更显式的事务、通过 EXPLAIN 对 236 个模板运行生产 SQL 编译检查,并在发布前执行一次完整的类生产端到端流程。核心论点是,更强的模型加上反复的“加固”审查可能会鼓励层层防御性复杂性,即使每一项单独变更看起来都正确,也会增加系统的故障面。未提供可总结更多辩论的高赞评论。感谢阅读

保持领先一步。

来源

Latent Space