Thinking Machines Lab 提出 On-Policy Distillation 后训练方法
Thinking Machines Lab 发布 On-Policy Distillation 方法,用学生模型自己采样轨迹、由教师模型逐 token 打分,损失函数采用 reverse KL,实现代码在 Tinker cookbook 中开源。在数学推理实验中,从 400k 提示词的 SFT 检查点出发,该方法约 150 步将 Qwen3-8B-Base 在 AIME'24 上提升到 70%,相比 RL 有 9 到 30 倍的成本降低。作者还展示了用该方法在内部文档微调后恢复指令遵循能力,并把它视为持续学习的可行工具。
匹配字段摘要




