AI News

NVIDIA Releases Robot Foundation Model GR00T 2, Plans to Open Source in December

HuxiuUpdated Nov 16 21:25

English text is being prepared.

AI summary

At CoRL, NVIDIA released its next-generation robot foundation model GR00T 2, which uses a world-action model architecture to simultaneously predict future frames and robot actions. Its pretraining used approximately 403,000 hours of first-person human video, and NVIDIA plans to open the model weights, code, and adaptation solutions in December. The model achieves cross-embodiment skill transfer through X-Adapt, reaching a 40% zero-shot success rate on 50 new tasks and 95% after five demonstrations, requiring less than 3 minutes of robot data. The article also notes that Anthropic's Claude Fable 5.2 and OpenAI's GPT-6 Astra are extending toward robot manipulation, with general-purpose models and open-source foundation models squeezing embodied model startups from both sides, while engineering capabilities such as precision manipulation, tactile feedback, and real-time response remain their moat.

Why read this

SelectedAI score 78

The article reviews the specific data behind GR00T 2's training on human video and cross-embodiment transfer, and compares it with concurrent progress in general-purpose large models, presenting the two-sided pressure facing embodied AI startups.

Topics

Tags

Body

[[**英伟达发布GR00T 2机器人基础模型,可用人类视频和跨机器人数据学习并计划开源;通用大模型同步向机器人延伸,具身模型创业公司遭两面夹击,真实场景工程能力仍成壁垒。**

**要点**

**1. GR00T 2实现动作与环境联合预测**

采用世界动作模型,同时预测未来画面和机器人动作,使人类视频可用于训练;预训练含40.3万小时人类视频,72项真机任务进度从50%升至70%。

**2. 跨构型迁移和少样本适配降低数据门槛**

X-Adapt让机器人借人类或其他机器人示范学习,化学实验成功率65%;50项新任务零样本成功率40%,五次示范达95%,所需数据不足3分钟。

**3. 分层控制和Turbo版支撑复杂任务与实时控制**

上层推理模型负责规划检查,GR00T 2执行动作并恢复异常;三类玩具连续组装每类100次成功97至98次,Turbo单次动作预测约124毫秒。

**4. 通用大模型与开源基础模型夹击具身创业公司**

Anthropic称Claude Fable 5.2在RoboDojo双臂任务得64.9%,GPT-6 Astra在RoboLab-120得74.8%但单次推理18.56秒;精密操作、触觉、实时响应等工程能力仍是创业公司壁垒。原创2026-11-16 20:03英伟达的夏天,具身模型公司的冬天?易玉琴速览

上周,大家都忙着吃黄仁勋的“大瓜”,以至于很多人都错过了英伟达的一次重要技术更新。

就在黄仁勋辞职的三天前,11月9日,英伟达在美国奥斯汀的机器人学习大会CoRL上,发布了新一代机器人基础模型GR00T 2。

在这次发布中,英伟达机器人研究负责人Jim Fan先是用一句“凛冬将至”,调侃GPT-6 Astra等通用推理模型给机器人研究者带来的冲击:当通用大模型能够直接控制机器人,还有必要专门研发机器人专用大脑吗?

然而,到了演讲结尾,Jim Fan却话锋一转,宣布“夏天来了”。

让他如此乐观的,正是英伟达刚刚推出的GR00T 2。

这款机器人基础模型能够从人类视频及其他机器人的操作数据中学习技能,并计划开源。目前,英伟达已公开10万小时人类第一视角视频数据,模型权重、代码及适配方案计划于12月开放。

那么,这颗机器人大脑,究竟强在哪里?

GR00T 2,机器人开始预测动作的后果

相比此前的版本,GR00T 2的核心进步主要体现在三个方面:

学习方式升级: 从预测机器人动作,进一步发展为同时预测动作和环境变化,让海量人类视频成为训练材料。

跨构型技能迁移: 机器人可以从人类或其他机器人的示范中学习操作技能,减少针对不同硬件重复采集数据的需求。

新任务适配更快: 通过少量示范快速学习新任务,并结合上层推理模型,完成复杂操作和错误恢复。

首先是模型架构的变化。

传统视觉语言动作模型(VLA)主要根据摄像头画面和语言指令预测动作。GR00T 2则采用世界动作模型(World Action Model,WAM)架构,通过一个扩散Transformer,同时预测未来画面和机器人动作。

例如,机器人将零件插入插槽时,模型既要预测机械臂如何移动,也要预测零件接触插槽后,环境会发生什么变化。

这项设计让机器人能够从普通人类视频中学习操作经验,降低对带有控制信息的遥操作数据的依赖。

根据英伟达披露的数据,GR00T 2预训练使用了约40.3万小时人类第一视角视频、1万小时手持夹爪示范,以及2.35万小时机器人遥操作数据。

在一组对照实验中,随着人类视频训练规模扩大,模型在72项真机任务上的进度指标从50%提升至70%。这也为此前备受关注的Ego数据提供了进一步的技术验证。

其次是跨构型技能迁移。

英伟达将这项能力称为X-Adapt。简单来说,机器人能够利用人类或其他机器人的示范,学习自己从未执行过的任务。

例如,在一项化学实验中,机器人没有接受针对该任务的遥操作训练,仅通过人类示范,就能以65%的成功率完成为实验漏斗铺设、润湿滤纸的操作。

另一项实验中,YAM机械臂仅通过手持夹爪示范,就能以60%的成功率组装一辆玩具卡车。

当然,目标机器人仍需要一定的通用动作数据,才能让模型适应自身的硬件结构。

更直观的进步,体现在学习新任务的效率上。

英伟达在50项目标机器人此前没有执行过的任务中进行测试。GR00T 2零样本平均成功率为40%;每项任务增加一次示范并微调后,成功率提升至71%;增加到五次示范后,平均成功率达到95%。

这五次示范需要的机器人数据不足3分钟,模型在单张RTX 5090显卡上的轻量微调时间约为30分钟。

除了快速学习,GR00T 2还尝试解决复杂任务中的错误恢复问题。

英伟达采用分层控制架构:上层推理模型负责规划任务、检查进度,GR00T 2负责抓取、插入等具体动作。一旦零件掉落或任务中断,上层模型可以调用其他工具处理异常,再继续执行。

在三类玩具的连续组装测试中,加入这一机制后,机器人每类100次尝试成功了97至98次,而单独使用动作模型时,成功次数为71至84次。

为适应人形机器人的实时控制需求,英伟达还推出了轻量版GR00T 2 Turbo。它可以直接运行在宇树G1搭载的Jetson Thor上,单次动作预测耗时约124毫秒,再由高频全身控制器执行。

整体来看,GR00T 2正在将人类视频学习、跨机器人技能迁移、少样本适配和复杂任务控制整合到同一套模型体系中。

不过,上述成绩主要来自英伟达公布的特定实验,距离复杂工业场景的长期稳定运行仍有差距。

如果这些能力能够在更多真实场景中得到验证,机器人厂商未来便有机会直接利用成熟的基础模型,再针对自身硬件和任务进行优化。

而这也将给从头训练通用机器人大脑的创业公司带来新的竞争压力。

具身模型公司,正被巨头两面夹击

戏剧性的是,就在英伟达发布GR00T 2的当天,Anthropic也推出了新一代通用大模型Claude Fable 5.2。

这款主要面向编程、推理等任务的大模型,已经开始展现机器人操作能力。

在Anthropic公布的视频中,Fable 5.2控制真实机器人完成了魔方操作、拧瓶盖和绘画等任务。

更值得关注的是其测试成绩。

在包含42项双臂机器人任务的RoboDojo仿真基准中,Fable 5.2取得了64.9%的成绩,高于前代Fable 5.1的27.6%和GPT-6 Astra的29.8%。

Anthropic称,这一表现已超过多数专门训练的机器人控制模型。不过,相关成绩来自Anthropic内部测试,真实机器人演示尚未披露系统性的成功率。

事实上,OpenAI的GPT-6 Astra此前也展现了类似潜力。

今年10月,英伟达发布的一项研究显示,Astra在RoboLab-120仿真基准中,借助智能体框架取得了74.8%的任务成功率,超过参与比较的多款专用机器人模型。

但其短板也很明显:单次动作推理平均耗时18.56秒,距离机器人实时控制的要求仍有较大差距。

与此同时,OpenAI也在调整机器人研发路线。

11月13日,据《财富》报道,OpenAI已撤销独立的机器人研究团队,将相关研究人员并入核心模型团队。OpenAI确认了此次调整,并表示机器人仍是其长期发展方向。

一系列变化表明,通用大模型正在加速向机器人领域延伸。

那么,它们与GR00T 2是什么关系?

从技术路线看,GR00T 2专门学习视频与机器人动作之间的关系,重点解决技能迁移、精细操作和实时控制等问题。

GPT-6 Astra、Fable 5.2等通用模型,则凭借视觉理解、空间推理和任务规划能力,开始参与机器人动作决策。

两类模型既存在竞争,也可以相互配合。

例如,英伟达展示的分层控制架构中,上层通用推理模型负责规划任务、检查结果,GR00T 2负责具体动作,再由底层控制器执行。

这意味着,未来机器人的“大脑”可能进一步分工:通用模型承担更多理解和决策任务,专用模型负责需要快速响应的物理操作。

对于具身模型创业公司而言,压力正在从两个方向传来。

一方面,英伟达持续开放机器人基础模型和开发工具,降低整机厂商从头训练模型的必要性;另一方面,OpenAI、Anthropic等通用模型厂商不断拓展机器人能力,可能进一步压缩专用模型的技术空间。

当然,通用模型的进步,并不意味着具身模型创业公司已经失去空间。

现阶段,无论GR00T 2还是Fable 5.2,都尚未证明能够在复杂工业场景中长期稳定运行。精密操作、触觉反馈、接触力控制、实时响应以及异常恢复,仍需要大量工程优化。

这意味着,拥有专有场景数据、成熟硬件适配能力和真实客户部署经验的企业,仍有机会建立竞争优势。

不过,随着基础模型不断进步,今天稀缺的技术能力,明天可能就成为行业标配。巨头正在抬高具身智能的技术起点,也在抬高创业公司证明自身价值的门槛。

至于谁能迎来夏天,谁又将面对寒冬,最终还要由真实市场给出答案。

文章标题:英伟达的夏天,具身模型公司的冬天?

已在虎嗅发表 19 篇文章 本内容未经允许不得转载。授权事宜请联系 hezuo@huxiu.com。正在改变与想要改变世界的人,都在虎嗅APP[ ]]]

Source

Huxiu