Physical Intelligence 与 NVIDIA 用世界模型评估机器人策略

最喜欢的发现：物理失败会迁移。一个策略在真实世界里抓取失败，在世界模型里也会失败。 与 @nvidia 的新工作：完全在世界模型内评估机器人策略。策略行动，模型想象后果，想象出的评估能预测真实世界结果。🧵 真实 vs 世界模型 rollout 并排📷 为什么重要：评估对进步至关重要。随着我们的模型变得更通用、更强，评估它们能做的各种事情耗时越来越长。世界模型评估只需几小时 GPU 时间。 设置： • 用我们的机器人数据训练的世界模型生成摄像头会看到的画面 • VLA 在环：看到生成的帧，输出动作，世界模型预测接下来发生什么 在我们的桌面收拾基准上，跨不同性能的 VLA checkpoint，世界模型评估复现了真实世界的策略排名。 相关性图：预测 vs 真实成功率 我们发现让这件事奏效的关键是自一致性：模型被训练成在前向与逆向模型之间自一致（即用逆动力学预测的动作导向与 ID 输入一致的状态），跨不同摄像头一致，并通过中止分布外的 episode 在训练与测试之间一致。 有与无自一致性对比视频 模型也知道何时不该信任自己：它的不确定性估计能追踪生成偏离现实的程度。 不确定性准确预测模型生成何时退化 与 NVIDIA Cosmos 团队合作。 论文：https://t.co/S28urlDXd6 网站：https://t.co/8cA1K5R85w