AI 热点

为什么微调任务耗时比 FLOPs 估算更长

Hugging Face更新于 11月19日 03:08

Why your fine-tuning job takes longer than the FLOPs say

AI 导读

微调任务耗时常超出 FLOPs 估算,因为环境设置、模型加载、tokenization、评估、检查点上传及共享基础设施 I/O 均不在训练循环计算内。基于 272 次 SFT 运行、24 项特征的 CatBoost 预测器显示,评估样本量最重要;最佳 30% MFU 基线在平均 23.43 h 的任务上仍有逾 12 小时平均误差。

正文 · AI 翻译

大家使用的估算方法只考虑计算量

对于稠密 Transformer,训练大约需要 6·P·D 次浮点运算,其中 P 是参数数量,D 是训练 token 数量。将其除以 GPU 能够提供的算力,就能得到训练循环耗时:

这里,N_GPU 是 GPU 数量,FLOPS_peak 是单个 GPU 规格表中标示的峰值吞吐量,MFU(模型 FLOPs 利用率)是训练实际达到的峰值算力比例。由于内存流量、通信和内核效率低下,实际任务永远无法以峰值运行,因此 MFU 通常介于 30% 到 60% 之间,而且无法预先得知某个任务应采用什么值。

这很好地描述了优化循环。然而,一项任务不只有循环。在第一步开始之前,还需要设置环境、下载并加载模型以及进行 tokenization。训练期间还会定期评估并上传检查点。最后,最终模型会被传至对象存储。在多租户集群上,所有这些操作都要与其他任务争用网络和存储 I/O。

这些开销取决于具体配置,并不会随工作负载或 GPU 数量呈现整齐的缩放关系。名义计算量相同的两个任务,完成时间可能相差数小时。

为了保证比较公平,我们测试的 FLOP 基线不仅计入训练 token,也计入计划用于评估的 token,并在很大的范围内扫描 MFU。

我们构建的模型

我们将端到端时长视为一个监督回归问题。给定由任务配置和模型元数据构成的特征向量,预测任务从获得 GPU 到完成之间的实际经过时间。排队时间不包括在内。

这项工作由两个设计选择塑造:

所有信息在调度前均已知。每项输入都来自提交的配置:超参数、数据集大小、模型标识符和 GPU 分配。不使用运行时日志,也不使用部分进度信息。正因如此,该预测才可用于调度。

能够揭示额外开销的特征。除原始配置外,我们还推导出 num_eval_data(所有评估周期处理的样本数)、num_saves 和 num_params_saved(检查点 I/O),以及每个 GPU 的 token 量等指标。FLOP 估算本身也作为另一个特征( baseline_time )输入,其中 MFU 固定为 0.45,这样模型便能从只考虑计算量的数值出发,学习相应的修正。

我们比较了线性回归、Ridge、XGBoost 和 CatBoost。特征选择结合了相关性筛选、互信息,以及对 18 组候选特征集进行的置换重要性分析,之后又以 MAE 为标准进行了网格搜索。最终的 CatBoost 模型使用 24 项特征。

数据

来自企业生产环境运行日志的 272 次 SFT 运行,涵盖多个模型家族,参数量最高达 150 亿,同时包含 LoRA 和全量微调,并覆盖范围广泛的数据集大小和超参数。

共享基础设施。任务使用从一个 H200 资源池中分配的 1、2 或 4 个 GPU;该资源池横跨 1 至 4 个节点,共有 8 至 32 个 H200,同时还运行着其他训练和推理工作负载。测得的时间包含真实的资源争用影响。

时长从 1.6 小时到 172.4 小时不等,平均为 23.43 h,中位数为 15.29 h。

技术栈:Hugging Face Transformers 和 Unsloth。我们将技术栈建模为分类特征,并不假设两者之间存在固定的加速比。

272 次运行的端到端时长分布。平均值为 23.43 h,中位数为 15.29 h。

结果

所有数值均来自分层五折交叉验证。前四行是分析模型,无须拟合。

有几点尤为突出。

不存在一个能够修正 FLOP 基线的通用 MFU 值。我们在 0.25 到 0.65 的范围内扫描 MFU。表现最好的设置为 30%,但对于平均持续 23 小时的任务,其平均误差仍超过 12 小时。

更详细的分析模型也无法弥合这一差距。作为第二个基线,我们采用了 Calculon(Isaev 等人,SC '23),这是先前研究提出的一种用于 LLM 训练的分析性能模型。它构建显式的层级计算图,并将计算、内存流量和设备间通信纳入考量。我们扩展了其公开实现,使其支持 LoRA、分组查询注意力、融合注意力、bfloat16 和 SwiGLU。即便如此,其估算值的中位数也仅相当于观察到的实际经过时间的 11%。这并不否定 Calculon 作为单步性能分析工具的价值,因为它原本就是为此而设计的。它表明,生产任务中有相当大一部分耗时发生在优化步骤之外。

线性模型有所帮助,但随后便止步不前。Ridge 将 MAE 降至 7.23 h。纯线性模型无法很好地捕捉配置与时长之间的关系。

梯度提升发挥了主要作用。CatBoost 和 XGBoost 在每项指标上的结果都处于彼此一个标准差以内。由于 CatBoost 在所有指标上的平均误差均为最低,因此我们在后续分析中采用 CatBoost。

预测器依赖哪些因素

CatBoost 的特征重要性集中在少数几个特征上。模型和工作负载变量如预期般位列其中,但评估和检查点变量同样如此。num_eval_data,即任务整个生命周期内在评估过程中处理的样本总数,排名第一,其后依次是 num_trainable_params、batch_eval_size_percent、num_all_params 和 num_gpus*batch_train_percent,num_params_saved 也紧随其后。SHAP 值揭示了同样的情况:评估量较大时,预测时长会持续上升,而可训练参数数量则呈现非线性影响,只有对最大的模型而言,这种影响才会显著增大。

CatBoost 模型各折的平均特征重要性(PredictionValuesChange)。

特征重要性并不代表因果关系。不过,这一模式与任务的实际耗时构成相符。评估频率、评估集大小以及持久化保存的检查点数量,都会与模型和数据集规模一起影响实际经过时间。人们在编写训练配置时,往往习惯性地做出这些选择。

解读图表时需要注意一点:较大的 GPU 分配量对预测时长呈正向贡献。在我们的数据中,较大的资源分配通常对应较大的任务,因此 num_gpus 在一定程度上充当了任务规模的代理变量。这并不意味着增加 GPU 会让任务变慢。

误差有多大,又出现在哪里

纵观全部 272 个折外预测,绝对误差中位数为 0.51 h。80% 的预测误差在 2.20 h 以内,90% 的预测误差在 4.31 h 以内。按任务时长细分如下:

对于不超过 60 小时的任务,误差中位数始终保持在约一小时或更低。模型在长尾部分表现不佳;由于超过 60 小时的运行仅有 13 次,我们认为这是数据量有限所致。

折外预测的绝对误差与实际时长的对比,按时长区间着色。在 60 h 以内,误差保持较低水平;在数据稀疏的长尾部分,误差则有所扩大。

更多数据应该仍会有所帮助。在固定的 20% 留出集上,当使用的训练分区数据从 85% 增加到 100% 时,MAE 从 1.63 h 降至 1.50 h,且未出现明显的平台期。

它适合做什么

在实践中,预测器可以在任务开始前为调度器提供一个可据此制定计划的时长:哪些任务可以同时运行、GPU 何时会空闲,以及某次运行能否在截止时间前完成。

局限性

仅限 SFT。我们没有纳入 RLHF、DPO 或 RLVR 等其他训练和对齐策略。

仅使用一种 GPU。所有运行均使用 H200。拟合后的模型是针对该基础设施校准的,在未经重新训练的情况下,不应期待其数值结果能够迁移到其他代际的 GPU。面向混合资源池的预测器还需要硬件描述信息,例如计算吞吐量、显存容量与带宽,以及互连拓扑。

超长运行数量较少。超过 60 小时后,误差会增大。

能够迁移的是这套方法:考虑开销的特征、考虑多重共线性的特征选择,以及比较协议。完整论文将详细报告特征公式、选择流程、搜索空间和最终超参数,以便在任何结构相似的执行日志数据集上重建这套流程。

我们接下来计划研究:硬件特定描述信息及在其他 GPU 类型上的验证、面向少量观测配置的迁移学习、其他训练目标,以及更多长时间运行数据。

后续进展

完整论文即将发布到 arXiv。请关注 Hugging Face 上的 Dharma-AI 组织,以便在论文发布时收到通知,也欢迎在下方评论区留下问题。我们很想了解你如何估算自己集群上的任务时长。

延伸阅读

为什么专业化不可避免

更新的模型,同样的优势

超越聊天机器人的直接偏好优化

这位作者的更多文章

来源

Hugging Face