先了解这件事
AI 综述
2026年10月23日,Dongxi 东锡 NLP 在“后训练系列第二篇”中讲解 Instruction Tuning,指出 SFT 沿用预训练的训练目标:在每个位置预测下一个 token,用 cross-entropy loss 衡量预测与正确 token 的差距,并提高正确 token 的概率。数据侧则用模型的 chat template 把每对数据转成对话格式的 token 序列,再用 loss mask 标出需要计算损失的 token,文章称这是 recipe 中的重要部分。目前该讲解由马东锡 NLP 发布,尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
东锡 NLP 解读 Instruction Tuning 与 SFT 训练目标事件进展
1 个已确认进展
- 来源：马东锡 NLP
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月23日
马东锡 NLP
东锡 NLP 解读 Instruction Tuning 与 SFT 训练目标
东锡 NLP 在“后训练系列第二篇”中讲解 Instruction Tuning：SFT 沿用预训练的训练目标，即在每个位置预测下一个 token，用 cross-entropy loss 衡量预测与正确 token 的差距，并提高正确 token 的概率。数据侧用模型的 chat template 把每对数据转成对话格式的 token 序列，再用 loss mask 标出需要计算损失的 token，这是 recipe 中的重要部分。