Physical Intelligence 为机器人模型推出 MEM 记忆系统

我们为模型开发了一套记忆系统，同时提供短期视觉记忆和长期语义记忆。 我们的方法让我们能够训练机器人执行长时间、复杂的任务，比如清理厨房或从头制作烤奶酪三明治 👇 没有记忆，机器人在许多真实场景中会陷入困境，比如反复犯同样的错误、卡住或失去时间感。 但我们不能直接把几分钟甚至几小时的视频塞进模型的上下文——那很快就会变得不可处理。 为此，我们开发了多尺度具身记忆（MEM）。核心思路：用不同模态在不同时间尺度上表示记忆。 📹 对于短时程记忆，我们开发了一个高效的视频编码器，让模型记住近期交互中的细粒度细节。 📜 对于长时程记忆，我们训练模型用文本总结事件，使其能记住长达 15 分钟的事件。 借助 MEM，我们的模型可以在真实世界中执行真正的多阶段任务，比如清理整个厨房或准备食谱所需的食材。视频展示了机器人如何用文本跟踪长时程记忆。 除了解决新任务，记忆还让我们的策略更加鲁棒：我们展示了上下文适应的早期迹象，机器人通过从过去的错误中学习，实时调整自己的行为。 更多内容，请查看 我们的论文：https://t.co/xQLvOwko0m 我们的博客文章：https://t.co/tjJO4D6MYP