先了解这件事
AI 综述
Meta发表论文,研究强化学习后训练对智能体多次尝试表现的影响。研究在3个智能体基准上测试了14组基础模型与后训练模型,并构建PTGS采样器,对困难提示提高温度、对简单提示降低温度。结果显示,后训练让智能体首次尝试表现更好,但在最多128次尝试中能找到解的任务反而更少。在WebShop上,gemma-4-31B基础模型在128次尝试内解决超过85%的任务,后训练版本为56%。作者提出的Sharpening Tax在42组模型与基准组合中有36组为正,意味着覆盖率缩小。作者建议为可重试的智能体选型时,应衡量模型最终能解多少任务,而不只看首次准确率。
AI 根据公开报道生成
最新进展 · 正式报道
Meta 论文发现强化学习后训练提升首次成功率却降低多次尝试覆盖率事件进展
1 个已确认进展
- 来源：Rohan Paul
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月30日
Rohan Paul
Meta 论文发现强化学习后训练提升首次成功率却降低多次尝试覆盖率
Meta 新论文发现，强化学习后训练让智能体首次尝试表现更好，但在最多 128 次尝试中能找到解的任务反而更少。研究在 3 个智能体基准上测试了 14 组基础模型与后训练模型，并构建了 PTGS 采样器，对困难提示提高温度、对简单提示降低温度。在 WebShop 上，gemma-4-31B 基础模型在 128 次尝试内解决超过 85% 的任务，后训练版本为 56%；作者提出的 Sharpening Tax 在 42 组模型与基准组合中有 36 组为正，意味着覆盖率缩小。作者建议为可重试的智能体选型时，应衡量模型最终能解多少任务，而不只看首次准确率。