先了解这件事
2026年10月11日,Thinking Machines Lab发布On-Policy Distillation研究,介绍一种用于大模型后训练的方法:从学生模型采样轨迹,由教师模型逐token打分并最小化reverse KL,将on-policy训练与稠密奖励信号结合。官方博客称,在数学推理实验中,Qwen3-8B-Base经400k提示SFT后在AIME'24得60%,再用on-policy distillation约150步达到70%;作者称在已有SFT数据集时计算成本约为off-policy的1/9,若计入教师采样成本则约1/30,与RL相比训练步数快7-10倍。该方法还被用于内部文档助手场景,在70-30文档与对话数据混合微调后恢复IF-eval表现且不损失知识,实现代码见Tinker cookbook。目前尚无后续发展事实。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：Thinking Machines Lab：官方博客
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月11日
Thinking Machines Lab：官方博客一手
Thinking Machines Lab 发布 On-Policy Distillation 研究：用稠密教师监督替代 RL 后训练
Thinking Machines Lab 发布 On-Policy Distillation 研究，提出从学生模型采样轨迹、由教师模型逐 token 打分并最小化 reverse KL 的后训练方法，结合了 on-policy 训练与稠密奖励信号。在数学推理实验中，Qwen3-8B-Base 经 400k 提示 SFT 后在 AIME'24 得 60%，再用 on-policy distillation 约 150 步达到 70%；作者称在已有 SFT 数据集时计算成本约为 off-policy 的 1/9，若计入教师采样成本则约 1/30，与 RL 相比训练步数快 7-10 倍。该方法还被用于内部文档助手场景，在 70-30 文档与对话数据混合微调后恢复 IF-eval 表现且不损失知识，实现代码见 Tinker cookbook。