先了解这件事
事件摘要
还没有公开综述,先看下面的报道时间线。
最新进展 · 正式报道
让知识蒸馏便宜到足以大规模运行事件进展
1 个已确认进展
- 来源:Hugging Face
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
8月10日
Hugging Face一手精选
让知识蒸馏便宜到足以大规模运行
Multiverse Computing通过缓存教师模型每个位置的top-100 logits,并把输出投影融合进分块KL loss,大幅降低大语言模型离线知识蒸馏的显存成本。32K token基准中,峰值显存从85.2 GiB降至5.45 GiB;蒸馏GPT-OSS 20B时,GPU节点由4个减至1个,单步耗时从57.0秒降至12.23秒。该分块loss实现已开源。