先了解这件事
2026年6月,Lilian Weng发布了一篇关于缩放定律(scaling laws)的长文。文章围绕算力昂贵背景下如何在大规模训练前推理数据与模型规模之间的最优算力分配展开,涵盖缩放定律预测了什么、算力最优分配如何运作、Kaplan et al. 与 Chinchilla 结论为何不一致,以及数据限制与拟合细节如何让外推变得棘手。文章还系统梳理了缩放定律的发展脉络,涉及 Kaplan et al. (2020) 与 Chinchilla 缩放定律,并介绍拟合缩放定律的三种方法:固定模型规模变化 token 预算、IsoFLOP 曲线和参数化拟合,同时讨论数据无限与数据受限两种情形下的缩放规律及现实中拟合的难点。目前该文已发布,暂无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
Lilian Weng 发布 scaling laws 长文事件进展
1 个已确认进展
- 来源：Lilian Weng
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
6月26日
Lilian Weng
Lilian Weng 发布 scaling laws 长文
一篇拖了很久（3 年多？）的关于 scaling laws 的文章。 算力很贵。scaling laws 是一种帮助我们在投入大规模训练之前，推理数据与模型规模之间最优算力分配的方法。 文章涵盖 scaling laws 预测了什么、算力最优分配如何运作、为什么 Kaplan et al. 与 Chinchilla 结论不一致，以及数据限制 + 拟合细节如何让外推变得棘手。
6月24日
Lilian Weng：Lil'Log
Scaling Laws 详解：从 Kaplan 到 Chinchilla 的缩放定律
Lilian Weng 在 Lil'Log 发文系统梳理深度学习缩放定律（Scaling Laws）的发展脉络，涵盖 Kaplan et al. (2020) 与 Chinchilla 缩放定律，以及拟合缩放定律的三种方法：固定模型规模变化 token 预算、IsoFLOP 曲线和参数化拟合。文章还讨论了数据无限与数据受限两种情形下的缩放规律，以及现实中拟合缩放定律的难点。