语言模型对齐的理论极限
作者 Lucas Monteiro Paes*、Natalie Mackraz*、Barry-John Theobald、Federico Danieli
语言模型(LM)对齐可改善模型输出,使其反映人类偏好,同时保留基座模型的能力。最常见的对齐方法是(i)强化学习,即在 KL 散度约束下最大化期望奖励,以及(ii)best-of-NNN 对齐,即从 NNN 个独立样本中选择奖励最高的输出。尽管这些方法被广泛使用,但在 KL 预算下奖励提升的基本极限仍鲜为人知。我们通过推导在固定 KL 散度预算下可实现的 最大 期望奖励增益,刻画了 KL 正则化对齐的信息论极限。我们的第一个结果给出了最优奖励提升的闭式表达式,其由 Jeffreys 散度项决定,而非此前分析中使用的 √KL√KL√KL。我们进一步将该表达式重新表述为基座模型下的协方差,从而得到一个仅凭基座模型样本即可预测可实现对齐增益的实用估计量。我们将分析扩展到代理奖励设定,表明理想对齐与代理对齐之间的差距(奖励黑客)会随着奖励误差幅度的增大以及 KL 惩罚因子的减小而扩大。随后我们证明奖励集成可缓解奖励黑客,为这一实践中使用的技术提供了理论依据。在实证方面,我们针对语言模型的两个任务——安全性和摘要——计算了 KL–奖励帕累托前沿,并表明 best-of-NNN 接近理论极限,而 PPO 和 GRPO 仍明显次优。我们的理论结果揭示了对齐文献中若干经实证观察到的现象,并表明需要算法改进才能在不产生高推理成本的情况下实现最优对齐。
- * 同等贡献
相关阅读与更新。
SALSA:基于汤的对齐学习,用于在 RLHF 中实现更强适应
2024年12月5日研究领域 语音与自然语言处理NeurIPS 研讨会
本文已被 NeurIPS 2024 现代机器学习微调(FITML)研讨会接收。
在大语言模型(LLM)开发中,基于人类反馈的强化学习(RLHF)对于使模型与人类价值观和偏好对齐至关重要。RLHF 传统上依赖当前策略与冻结的初始策略之间的 Kullback-Leibler(KL)散度作为参考,并将其作为惩罚项加入策略……
阅读更多论直接偏好优化所诱导的隐式奖励模型的有限泛化能力
2024年10月9日研究领域 方法与算法, 研究领域 语音与自然语言处理会议 EMNLP
基于人类反馈的强化学习(RLHF)是使语言模型与人类偏好对齐的有效方法。RLHF 的核心是学习一个用于对人类偏好打分的奖励函数。学习奖励模型的两种主要方法是:1)如 RLHF 中那样训练显式奖励模型,2)使用通过直接偏好优化(DPO)等方法从偏好数据中学习到的隐式奖励。此前的工作已表明……
阅读更多
探索机器学习领域的机遇。
我们在机器学习领域的研究每天都在开辟新天地。