先了解这件事
Databricks 分享了在自家 AI Runtime 上微调 Qwen 3.8 27B 的调优全过程。据其官方博客,团队通过安装正确的融合 kernel 并改进数据管线,把固定数据集上的训练时间从 7 小时 44 分钟降至 1 小时 17 分钟,提速 6 倍,达到 9,396 tok/s。尽管基线模型 GPU 利用率已显示 98%,团队借助 torch trace 发现 CPU 每步准备时间超过 GPU 执行时间、单步存在数十万次小算子,并针对批量填充过多等问题做了优化。后续中文来源的报道进一步说明,torch profiler 显示瓶颈在 CPU 调度而非 GPU,单步 CPU 发起约 171 万次调用;接入 flash-linear-attention 与 causal-conv1d 融合内核后降至 2 小时 05 分,再用 1D 序列打包去 padding 降至 1 小时 17 分。该来源还提醒不要依赖 HF Kernel Hub 动态加载内核,版本不匹配会静默回退,且部分内核只实现 forward,训练不可用。
AI 根据公开报道生成
最新进展 · 正式报道
Databricks 分享把 Qwen 3.8 27B 微调提速 6 倍的调优全过程事件进展
1 个已确认进展
- 来源：Databricks Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月15日
邵猛
Databricks 分享把 Qwen 3.8 27B 微调提速 6 倍的调优全过程
Databricks 分享在自家 AI Runtime 上微调 Qwen 3.8 27B 的调优过程，SFT 训练时间从 7 小时 44 分降到 1 小时 17 分，提速 6 倍。torch profiler 显示瓶颈在 CPU 调度而非 GPU，单步 CPU 发起约 171 万次调用；接入 flash-linear-attention 与 causal-conv1d 融合内核后降到 2h05m，再用 1D 序列打包去 padding 降到 1h17m。作者提醒不要依赖 HF Kernel Hub 动态加载内核，版本不匹配会静默回退，且部分内核只实现 forward，训练不可用。
10月14日
Databricks Blog一手
Databricks 在 AI Runtime 上将 Qwen 微调训练时间缩短 6 倍
Databricks 通过安装正确的融合 kernel 并改进数据管线，在 AI Runtime 上把 Qwen 3.8 27B 的微调速度提升 6 倍，固定数据集上的训练时间从 7 小时 44 分钟降至 1 小时 17 分钟，达到 9,396 tok/s。尽管基线模型 GPU 利用率已显示 98%，团队借助 torch trace 发现 CPU 每步准备时间超过 GPU 执行时间、单步存在数十万次小算子，并针对批量填充过多等问题做了优化。