先了解这件事
事件摘要
还没有公开综述,先看下面的报道时间线。
最新进展 · 正式报道
为什么微调任务耗时比 FLOPs 估算更长事件进展
1 个已确认进展
- 来源:Hugging Face
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
11月19日
Hugging Face一手
为什么微调任务耗时比 FLOPs 估算更长
微调任务耗时常超出 FLOPs 估算,因为环境设置、模型加载、tokenization、评估、检查点上传及共享基础设施 I/O 均不在训练循环计算内。基于 272 次 SFT 运行、24 项特征的 CatBoost 预测器显示,评估样本量最重要;最佳 30% MFU 基线在平均 23.43 h 的任务上仍有逾 12 小时平均误差。
AI 热点