先了解这件事
AI 综述
2026年10月22日,来自斯坦福 AI Lab 与 Berkeley Sky 的研究者提出可插拔小模块 TokenGate,插在现有 LLM 浅层,只把重要的 top-K token 继续往上层传。论文报告在无精度损失时首 token 时间快 1.4–11.3 倍、峰值显存降 1.5–3.4 倍,相对最好的免训练剪枝方法最高约 6.4 倍更快、2 倍更省显存。训练使用普通 next-token 损失,成本接近 LoRA,一次微调后可泛化到不同输入长度和不同 K。目前该工作以论文形式公开,尚无后续进展。
AI 根据公开报道生成
事件进展
1 个已确认进展
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月22日
邵猛
斯坦福与伯克利研究者提出 TokenGate，用可学习剪枝把长上下文 Prefill 最高提速约 11 倍
来自斯坦福 AI Lab 与 Berkeley Sky 的研究者提出可插拔小模块 TokenGate，插在现有 LLM 浅层，只把重要的 top-K token 继续往上层传。论文报告在无精度损失时首 token 时间快 1.4–11.3 倍、峰值显存降 1.5–3.4 倍，相对最好的免训练剪枝方法最高约 6.4 倍更快、2 倍更省显存。训练用普通 next-token 损失，成本接近 LoRA，一次微调后可泛化到不同输入长度和不同 K。