清华推出 Puro-2B:RTX 5090 预训练成本不到 5090 美元
清华大学陈文光与吕凯风团队联合推出全流程开源的 Puro-2B(普罗-2B),开源训练数据、训练框架、训练配置和模型权重,在消费级显卡 RTX 5090 集群上从头训练约 20 亿参数模型,最多使用 1.4 万亿 token。约 4400 美元预训练计算成本的版本在 15 项任务平均指标上超过 Qwen2-1.5B,6900 美元的最佳版本平均性能接近 Qwen2.5-1.5B。团队还拟合了 Puro Cost Scaling Law 经验曲线,用于在正式训练前估计不同预算能达到的能力水平。
进度对齐、混合不同来源的数据块。 这样既让训练过程中数据集逐步走向更高质量的区间,又保持局部训练区间的数据集配比近似稳定,避免质量变化同时造成领域数据比例的突变。 但数据排好了,并不等于模型能充分学到。Puro团队此前的研究发现:当训练后期学习率过低时,最后出现的优质数据难以推动参数更新。为此,他们采用了课程模型平均(Curriculum Model Averaging,CMA)在训练后期保持恒定学习率,使模型继续学习优质数据,再对末端的检查点做权重平均,来缓解较高学习率带来的训练噪声。 论文Figure 7|课程数据构造与模型平均 进一步的消融也显示,直接在学习率衰减的训练轨迹上做模型平均,并不会稳定获益。真正需要配合的是数据顺序、后期学习率与模型平均策略。 Figure 13b|对数据顺序、后期学习率与模型平均策略的消融实验 按Puro Cost Scaling Law这一经验曲线估算换算,相比于随机数据排布(Uniform, UD),数据课程加学习率衰减会相当于把成本效率提高到约1.65倍,完整CMA方案则达到约2.40倍。 数据评测 数据顺序解决后,还要决定选哪些数据。 他们建
匹配字段正文