卡内基梅隆论文：预训练、微调与RL可统一为单一训练规则
The separate stages of AI training can collapse into a single method.
AI 导读
卡内基梅隆大学论文提出，预训练、微调与RL可共享同一训练规则，混合各阶段数据往往优于分阶段训练。作者将MaxRL重构为对模型自身正确答案的似然训练，使一个训练器能按任意比例混合预训练文本、精选数据与RL样本。在0.76B模型上，数学RL阶段混入5% midtraining数据后MBPP+达32.69%，分阶段训练为29.81%。
正文 · AI 翻译
AI训练的各个独立阶段可以合并为单一方法。
卡内基梅隆大学的新论文表明，预训练、微调和强化学习可以共享同一条训练规则，而混合各阶段的数据往往优于分阶段训练。
大语言模型通常分阶段训练：预训练、中期训练、微调，然后是强化学习，每个阶段都有自己的算法。阶段之间的硬切换还可能抹去此前学到的技能。
作者将一种名为MaxRL的强化学习形式重新表述为对模型自身正确答案的似然训练。这样一来，一个训练器就能随时间以任意比例混合预训练文本、精选数据和强化学习样本。
在124M模型的推理谜题上，最佳混合训练运行优于最佳分阶段运行，并且更好地保留了通用技能。在后来的编程强化学习之后，一个在数学强化学习期间混入5%中期训练数据的0.76B模型在MBPP+上达到32.69%，而分阶段训练为29.81%。
把训练流程视为一个数据混合调度，并尝试将更早的数据混入强化学习，而不是突然切换阶段。