Nathan Lambert 评 score-centering RL 论文的重要性采样表
Was reading the score-centering RL paper to add some notes on it the my book, and they have a great table in the appendix on the different importance sampling b
AI 导读
Nathan Lambert 表示，他为写书笔记读了 score-centering RL 论文，认为其附录中关于 RL 中基于重要性采样的训练-推理不一致方法的表格很出色。他还认为，自 GRPO 兴起以来，这类方法一直是 RL 算法研究的最大焦点。
正文 · AI 翻译
为了给书里补充一些笔记，我读了那篇关于 score-centering 的 RL 论文，他们在附录里有一张很棒的表格，列出了 RL 中各种基于重要性采样的训练-推理不一致方法。在我看来，自 GRPO 兴起以来，这些方法一直是 RL 算法研究最大的焦点。