Meta 论文发现强化学习后训练提升首次成功率却降低多次尝试覆盖率
Meta 新论文发现,强化学习后训练让智能体首次尝试表现更好,但在最多 128 次尝试中能找到解的任务反而更少。研究在 3 个智能体基准上测试了 14 组基础模型与后训练模型,并构建了 PTGS 采样器,对困难提示提高温度、对简单提示降低温度。在 WebShop 上,gemma-4-31B 基础模型在 128 次尝试内解决超过 85% 的任务,后训练版本为 56%;作者提出的 Sharpening Tax 在 42 组模型与基准组合中有 36 组为正,意味着覆盖率缩小。作者建议为可重试的智能体选型时,应衡量模型最终能解多少任务,而不只看首次准确率。
匹配字段标题、摘要、正文
