←事件详情

热点事件

提出低成本大模型蒸馏方案

1 篇正式报道1 条事件动态更新于 8月10日 18:05

先了解这件事

事件摘要

还没有公开综述,先看下面的报道时间线。

最新进展 · 正式报道

让知识蒸馏便宜到足以大规模运行

事件进展

1 个已确认进展

  1. 提出低成本大模型蒸馏方案

    来源:Hugging Face

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

8月10日

  1. Hugging Face一手精选

    让知识蒸馏便宜到足以大规模运行

    Multiverse Computing通过缓存教师模型每个位置的top-100 logits,并把输出投影融合进分块KL loss,大幅降低大语言模型离线知识蒸馏的显存成本。32K token基准中,峰值显存从85.2 GiB降至5.45 GiB;蒸馏GPT-OSS 20B时,GPU节点由4个减至1个,单步耗时从57.0秒降至12.23秒。该分块loss实现已开源。

关联事件

  1. 相关事件Nvidia发布Nemotron 3.5 Super VL与Bolt模型
  2. 相关事件Zyphra 发布 5 万亿 token 数据集 Zyda-2
  3. 相关事件小米 MiMo 发布 MiMo-V2.6 Pro 与 Flash
  4. 相关事件AWS团队提出priming方法降低混合架构预训练成本