Meta 新论文提出 RSD:智能体可从无标注历史轨迹中学习
New Meta paper finds that AI agents can learn from their own past attempts at tasks, even ones nobody marked right or wrong, by looking back at each step once t
Meta 新论文提出 RSD 方法,让 AI 智能体在知道任务结局后回看每一步,从没人标注对错的历史尝试中学习。在 ScienceWorld 上,Qwen3-14B 的成功率从 12.9% 升到 20.6%;在 ALFWorld 上,Qwen3-8B 达到 76.6%,超过所有被测方法,包括那些获得奖励或标准答案的方法。作者建议保留智能体未标注的运行记录(包括失败),每轮重新生成回看笔记,因为冻结笔记到第 3 轮时 ALFWorld 成功率停在 59.7%,而每轮更新笔记时为 67.9%。
推荐理由
AI 评分 55
Meta 的 RSD 方法让智能体从无标注的完整轨迹中学习,ScienceWorld 与 ALFWorld 上的成功率数字给出了可对照的效果。
主题
正文 · AI 翻译
Meta 的新论文发现,AI 智能体可以从自己过去尝试任务的过程中学习,即使是那些没有人标记对错的尝试——只要在知道最终结果后回看每一步即可。
大多数智能体的运行过程既没有正确答案,也没有奖励,而标准训练恰恰依赖这些。RSD 让同一个模型在每次运行结束后重新阅读整个过程,同时知道它是如何结束的,以及在类似任务上哪些做法奏效。它为每个动作打分,智能体则从这些分数中学习。
在 ScienceWorld 上,Qwen3-14B 的成功率从 12.9% 提升到 20.6%。在 ALFWorld 上,Qwen3-8B 达到 76.6%,超过了所有其他被测方法,甚至包括那些获得奖励或标准答案的方法。
保留智能体未标注的运行记录(包括失败),并基于对这些记录的事后回看进行训练。每轮都要重新生成回看笔记,因为冻结笔记到第 3 轮时 ALFWorld 成功率停留在 59.7%,而使用新鲜笔记时为 67.9%。