Physical Intelligence发布世界模型机器人策略评测研究

6月19日

1. 02:38

   Physical Intelligence一手

   Physical Intelligence 世界模型评估机器人策略

   该模型也知道何时不该信任自己：其不确定性估计能追踪生成结果偏离现实的程度。 不确定性可准确预测模型生成何时退化

2. 02:38

   Physical Intelligence一手

   Physical Intelligence 与 NVIDIA 用世界模型评估机器人策略

   与 NVIDIA Cosmos 团队合作。 论文：https://t.co/S28urlDXd6 网站：https://t.co/8cA1K5R85w

3. 02:38

   Physical Intelligence一手

   Physical Intelligence 与 NVIDIA 用世界模型评估机器人策略

   最喜欢的发现：物理失败会迁移。一个策略在真实世界里抓取失败，在世界模型里也会失败。 与 @nvidia 的新工作：完全在世界模型内评估机器人策略。策略行动，模型想象后果，想象出的评估能预测真实世界结果。🧵 真实 vs 世界模型 rollout 并排📷 为什么重要：评估对进步至关重要。随着我们的模型变得更通用、更强，评估它们能做的各种事情耗时越来越长。世界模型评估只需几小时 GPU 时间。 设置： • 用我们的机器人数据训练的世界模型生成摄像头会看到的画面 • VLA 在环：看到生成的帧，输出动作，世界模型预测接下来发生什么 在我们的桌面收拾基准上，跨不同性能的 VLA checkpoint，世界模型评估复现了真实世界的策略排名。 相关性图：预测 vs 真实成功率 我们发现让这件事奏效的关键是自一致性：模型被训练成在前向与逆向模型之间自一致（即用逆动力学预测的动作导向与 ID 输入一致的状态），跨不同摄像头一致，并通过中止分布外的 episode 在训练与测试之间一致。 有与无自一致性对比视频 模型也知道何时不该信任自己：它的不确定性估计能追踪生成偏离现实的程度。 不确定性准确预测模型生成何时退化 与 NVIDIA Cosmos 团队合作。 论文：https://t.co/S28urlDXd6 网站：https://t.co/8cA1K5R85w

   展开摘要
4. 02:38

   Physical Intelligence一手

   Physical Intelligence 用世界模型评估机器人策略

   在不同性能的 VLA checkpoint 上，针对我们的 table bussing 基准，世界模型评估复现了真实世界的策略排名。 相关性图：预测成功率 vs 真实成功率

5. 02:38

   Physical Intelligence一手

   Physical Intelligence 用自洽性提升世界模型评估

   我们发现，让这项工作奏效的关键是自洽性：模型被训练成在前向模型与逆向模型之间自洽（即用逆向动力学预测的动作，会导向与 ID 输入一致的状态），在不同相机之间自洽，并通过中止分布外的回合来在训练与测试之间保持自洽。 有与无自洽性的对比视频

6. 02:38

   Physical Intelligence一手

   Physical Intelligence 与 NVIDIA 用世界模型评估机器人策略

   与 @nvidia 的新工作：完全在世界模型内评估机器人策略。策略行动，模型想象后果，想象出的评估能预测真实世界结果。🧵 真实 vs 世界模型 rollout 并排对比📷

7. 02:38

   Physical Intelligence一手

   Physical Intelligence 与 NVIDIA 用世界模型评估机器人策略

   为什么重要：评估对进步至关重要。随着我们的模型变得更通用、更强大，评估它们能做的各种事情所需的时间越来越长。世界模型评估需要几个小时的 GPU 时间。

8. 02:38

   Physical Intelligence一手

   Physical Intelligence 与 NVIDIA 用世界模型评估机器人策略

   Setup： • 用我们机器人数据训练的世界模型生成摄像头会看到的画面 • VLA 在回路中：看到生成的帧，输出动作，世界模型预测接下来会发生什么