先了解这件事
AI 综述
2026年11月9日,Hugging Face博客介绍了HOPE(Higher-Order Pruning of Experts)论文提出的二阶MoE专家剪枝方法。该方法针对现有方法独立为每个专家打标量重要性分数、忽略专家间稳定共激活协作组的问题,通过最小化剪枝误差的可解上界二次规划来选取剪枝集合。博客称,在50%剪枝率下HOPE平均排名优于所有对比方法,agentic coding任务上比次优方法最高提升+6.1%。以Qwen3.5-122B为例,其48个MoE层每层256个专家,约250 GB参数内存中95%被专家MLP占用,而每个token每层仅用8个专家。目前该工作以博客形式公开,尚无后续进展。
AI 根据公开报道生成
最新进展 · 正式报道
HOPE：考虑专家协作关系的 MoE 二阶剪枝方法事件进展
1 个已确认进展
- 来源：Hugging Face
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
11月9日
Hugging Face一手
HOPE：考虑专家协作关系的 MoE 二阶剪枝方法
Hugging Face 博客介绍 HOPE（Higher-Order Pruning of Experts），一种考虑专家两两交互的二阶 MoE 剪枝方法，在 50% 剪枝率下平均排名优于所有对比方法，agentic coding 任务上比次优方法最高提升 +6.1%。现有方法独立给每个专家打标量重要性分数，忽略专家会形成稳定共激活的协作组；HOPE 通过最小化剪枝误差的可解上界二次规划来选取剪枝集合。以 Qwen3.5-122B 为例，其 48 个 MoE 层每层 256 个专家，约 250 GB 参数内存中 95% 被专家 MLP 占用，而每个 token 每层仅用 8 个专家。