先了解这件事
AI 综述
2026年6月18日,Baseten Base Labs 公布对监督微调(SFT)的系统性扫描实验,考察最优学习率与批量大小如何随模型规模、家族和数据变化。该实验覆盖 Qwen3 与 Llama 两个模型家族,包含稠密与 MoE 架构,模型阶梯延伸至 235B 参数,并使用四个真实客户 SFT 数据集,同时测试 LoRA 与全量微调。研究还考察 LoRA 的 rank 与 α 如何决定适配器学习能力、验证损失能否忠实反映下游质量,以及几何感知优化器能否超越 AdamW。目前尚无后续发展事实,状态为进行中。
AI 根据公开报道生成
最新进展 · 正式报道
Baseten Base Labs：监督微调的后训练科学事件进展
1 个已确认进展
- 来源：Baseten Base Labs：模型研究
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
6月18日
Baseten Base Labs：模型研究一手
Baseten Base Labs：监督微调的后训练科学
Baseten Base Labs 对监督微调（SFT）展开系统性扫描实验，覆盖 Qwen3 与 Llama 两个模型家族、稠密与 MoE 架构（模型阶梯延伸至 235B 参数）、四个真实客户 SFT 数据集，并同时测试 LoRA 与全量微调。研究考察最优学习率与 batch size 如何随模型规模、家族和数据变化，LoRA 的 rank 与 α 如何决定适配器学习能力，验证损失能否忠实反映下游质量，以及几何感知优化器能否超越 AdamW。