Hamed Karimi 获 ECML PKDD Test-of-Time Award，2016 年…

上个月在那不勒斯举行的欧洲机器学习与知识发现数据库原理与实践会议（ECML PKDD）上，亚马逊高级应用科学家 Hamed Karimi 及其同事凭借其 2016 年论文《Linear convergence of gradient and proximal-gradient methods under the Polyak–Łojasiewicz condition》荣获 2026 年 ECML PKDD Test-of-Time Award。该奖项旨在表彰十年前发表、并产生了持久影响的研究。这篇论文由 Karimi 与 Julie Nutini 和 Mark Schmidt 共同撰写，当时 Karimi 是英属哥伦比亚大学的博士后研究员。该论文帮助梳理了此前分散的机器学习优化领域，并为分析新的训练方法提供了有用的途径。“2016 年写这篇论文时，我们真的没想到它会引起轰动，”Karimi 说。“我们当时并不知道这个结果会成为研究人员分析机器学习优化方式的一部分。”Karimi 及其合著者证明，Polyak-Łojasiewicz 条件——一个 1963 年提出、在机器学习领域长期被忽视的数学不等式——可以证明训练机器学习模型的标准方法能够快速逼近最佳解，即使存在许多不同的解同样有效。由于现代机器学习模型很少只有一个最佳解，这一结果帮助弥合了训练方法在实践中表现与理论所能保证之间的长期差距。优化景观 在经典的监督机器学习设定中，模型的数十亿个设置（即参数）会被调整，使模型的输出尽可能接近带标签的训练数据。 模型输出与带标签数据之间的距离用损失函数衡量；目标是调整参数以最小化损失。这种调整通过优化过程完成，最常见的方法是梯度下降或其变体之一。理解梯度下降的一种方式是将其想象为一幅带有山峰、山谷、悬崖和高原的地形图。地图上的最低点代表最小损失，每一步下坡走向这些最小值，都代表一次朝着更少误差方向优化的参数调整。理想情况下，研究人员希望知道通往底部的最快路径。理论表明，最快的路径会在每一步将误差缩小一个固定比例，这一性质被称为线性收敛。问题在于，线性收敛在数学上只对一种特定的地形形状有保证：一个均匀向上弯曲的陡峭碗状结构，即强凸结构。这样的碗状结构恰好只有一个最低点，因此从任何位置出发，都存在唯一的最佳优化移动方向。但许多现实问题并非如此。当训练数据存在冗余时——现代大型语言模型就是这种情况，其参数数量相对于训练数据量而言大得不成比例——景观的底部会变成一个平坦的谷底，而不是碗底的一个单点。这些模型表现出比凸性更弱的条件，它们可以用梯度下降成功训练，但理论既无法解释原因，也无法说明收敛速度，从而在实践中可行的方法与可证明的结论之间留下了空白。 到 2016 年，针对条件更弱的优化问题，已经流传着大约 25 年的解决方案，每一种都有自己的名称、符号和论文，但没有人确立它们之间的关系。Karimi 及其同事的论文厘清了这些关系。此后，研究人员使用该论文方法的变体，基本上为机器学习中每一种标准优化算法重新推导了保证。该论文已被引用超过 2000 次，并已进入研究生教材。将其串联起来 论文的核心是 Polyak-Łojasiewicz 条件，这是一个 1963 年由 Boris Polyak 在一篇关于梯度方法的俄语论文中、以及由 Stanisław Łojasiewicz 同年在一篇法语论文中独立且出于无关原因发表的不等式；Polyak 研究的是优化，Łojasiewicz 研究的是实解析几何。在论文中，Karimi 和合著者以两人的名字命名了这一条件。如果该条件成立，那么即使问题不呈现强凸几何结构，优化仍可保证以线性速率收敛。其证明只有三行。Karimi 及其同事的论文做出了三项贡献。第一项是绘制了针对条件更弱问题的现有解决方案图谱，这些方案都对问题拓扑做出了不同假设。对于不需要凸性的光滑函数，研究人员厘清了各种相互竞争的假设之间的所有蕴含关系，从最强到最弱。对于其中大多数函数，线性收敛此前已被证明，但仅限于凸情形。在 Karimi 及其同事的工作之前，人们对这些相互竞争的方法之间如何关联知之甚少。 这张图谱让研究人员清晰地看到了现有方法的全貌，展示了哪些假设蕴含哪些假设，并确认 Polyak-Łojasiewicz 条件是已知条件中最弱的一个，却仍能保证线性收敛速率。第二项贡献将这些结果扩展到由光滑函数——即在所有点上斜率平缓且可预测的函数——与非光滑函数——即带有角、折点或边缘、斜率未定义的点——组合而成的景观。论文引入了 Polyak–Łojasiewicz 条件的一个变体，它保证同样的线性速率，从而将许多广泛使用的模型纳入同一套简短分析之中。第三项贡献是对标准优化算法的重新分析，这些算法是梯度下降的变体，包括坐标下降、符号梯度下降和随机梯度下降。在每种情况下，分析都恢复了此前仅对强凸函数已知的收敛速率。换言之，同一个简短的论证为研究人员提供了一个现成的模板，用于分析新出现的训练方法。 影响力的速率 预印本发布两周后，Polyak 给作者们写了信。“其实，我一直很惊讶，为什么我旧论文中的那个简单条件几乎没有引起关注，”他说，“而现在你们的工作展示了它的重要性。”他附上了自己 1963 年论文的英文译本，那篇论文在此后五十年间基本无人使用。Karimi 认为，这一条件在过去十年间传播如此之广有两个原因。第一，采用它几乎不需要任何工作。许多假设理想化碗状形态的现有证明只依赖于它的一个推论：无论在哪里测量损失，损失仍会远高于其最小值。 换言之，地面坡度足够陡峭，足以在下坡方向上取得实质性进展。Polyak–Łojasiewicz 条件恰好保证了这一性质，因此当把该条件替换进来时，那些证明仍然成立。第二，也是最具影响力的，它使非凸问题上的快速收敛成为一个可证明的命题，而这如今已成为该领域解释研究人员实际运行的算法为何如此有效的一部分。这一条件也远远超出了 Karimi 及其同事所研究的范围。如今，各种变体为强化学习、弯曲参数空间上的优化以及扩散模型背后的采样方法中的收敛结果提供了支持。十年过去，一个曾闲置了五十年的不等式，已成为机器学习优化方法分析中的标准假设之一。