先了解这件事
AI 综述
2026年10月11日,Thinking Machines Lab发布一项研究,对比LoRA与全量微调。研究通过监督微调和强化学习实验,刻画出一个低遗憾区间,在该区间内LoRA与全量微调的学习效率和最终性能相当。实验覆盖Llama 3与Qwen3系列模型,LoRA rank在1到512之间变化。研究结论包括:LoRA应作用于全部权重矩阵,尤其是MLP和MoE层,仅作用于注意力层即使参数量相当也会更差;强化学习即使rank为1也能与全量微调持平。研究还发现,LoRA的最优学习率约为全量微调的10倍,且因1/r缩放因子而近似与rank无关。目前该研究由官方博客发布,尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
Thinking Machines Lab 研究：LoRA 在何种条件下能与全量微调持平事件进展
1 个已确认进展
- 来源：Thinking Machines Lab：官方博客
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月11日
Thinking Machines Lab：官方博客一手
Thinking Machines Lab 研究：LoRA 在何种条件下能与全量微调持平
Thinking Machines Lab 发布研究，通过监督微调和强化学习实验刻画出一个低遗憾区间，在该区间内 LoRA 与全量微调的学习效率和最终性能相当。研究覆盖 Llama 3 与 Qwen3 系列模型，LoRA rank 在 1 到 512 之间变化，结论包括 LoRA 应作用于全部权重矩阵尤其是 MLP 和 MoE 层，仅作用于注意力层即使参数量相当也会更差；强化学习即使 rank 为 1 也能与全量微调持平。研究还发现 LoRA 的最优学习率约为全量微调的 10 倍，且因 1/r 缩放因子而近似与 rank 无关。