先了解这件事
AI 综述
2024年3月28日,Zyphra Research 研究并提出一种基于层间相似度的层剪枝策略。该研究对 Llama-2-70B 等开放权重预训练 LLM 进行层剪枝,发现移除多达一半的层之前,多项问答基准性能几乎不下降。方法上,其通过层间相似度选出最优剪枝块,再用 QLoRA 微调修复损伤,单张 A100 GPU 即可完成实验。研究还称,剪枝后推理延迟随层数线性降低,并可与量化、投机解码等 PEFT 策略叠加使用。目前该研究尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
Zyphra 研究：深层网络层的无效性——LLM 层剪枝事件进展
1 个已确认进展
- 来源：Zyphra Research
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
3月28日
Zyphra Research一手
Zyphra 研究：深层网络层的无效性——LLM 层剪枝
Zyphra 研究发现，对 Llama-2-70B 等开放权重预训练 LLM 进行层剪枝，在移除多达一半的层之前，多项问答基准性能几乎不下降。该方法通过层间相似度选出最优剪枝块，再用 QLoRA 微调修复损伤，单张 A100 GPU 即可完成实验。剪枝后推理延迟随层数线性降低，可与量化、投机解码等 PEFT 策略叠加使用。