东锡 NLP 解读 Instruction Tuning 与 SFT 训练目标
Instruction Tuning 或者 SFT 沿用预训练的训练目标：
AI 导读
东锡 NLP 在“后训练系列第二篇”中讲解 Instruction Tuning：SFT 沿用预训练的训练目标，即在每个位置预测下一个 token，用 cross-entropy loss 衡量预测与正确 token 的差距，并提高正确 token 的概率。数据侧用模型的 chat template 把每对数据转成对话格式的 token 序列，再用 loss mask 标出需要计算损失的 token，这是 recipe 中的重要部分。
查看原帖https://t.co/Y3AP0ziejN
查看原文
https://t.co/Y3AP0ziejN
正文
Instruction Tuning 或者 SFT 沿用预训练的训练目标：
在每个位置预测下一个 token，用 cross-entropy loss 衡量预测和正确 token 之间的差距，通过训练提高正确 token 的概率。
其中，用模型的 chat template 把每对数据转换成对话格式的 token 序列，然后用 loss mask（ 标出需要计算损失的 token，是 recipe 中重要的部分。
来看后训练系列第二篇，Instruction Tuning