先了解这件事
AI 综述
2026年10月25日,斯坦福与加州大学伯克利分校研究者发布TokenGate,这是一个面向长上下文预填充的可学习token剪枝模块。据团队报告,该方法在Qwen3-1.7B或Qwen3.5-2B上加入小型MLP门控与LoRA(r=16),借鉴MoE路由思路使top-K选择可端到端训练,仅对文档部分剪枝、问题部分不剪。团队报告首token时延提升1.4倍至11.3倍且无精度损失,峰值预填充显存降低1.5倍至3.4倍;测试上下文最长128k token,NIAH 16k上达到11.3倍加速和3.42倍显存下降。代码与checkpoint以Apache-2.0在GitHub开源。目前尚无后续发展事实。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：MarkTechPost
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月25日
MarkTechPost
斯坦福与 UC Berkeley 提出 TokenGate：token 门控注意力让长上下文预填充最高快 11.3 倍
斯坦福和 UC Berkeley 研究者发布 TokenGate，一个面向长上下文预填充的可学习 token 剪枝模块，团队报告首 token 时延（TTFT）提升 1.4 倍至 11.3 倍且无精度损失，峰值预填充显存降低 1.5 倍至 3.4 倍。方法是在 Qwen3-1.7B 或 Qwen3.5-2B 上加一个小型 MLP 门控和 LoRA（r=16），用 MoE 路由思路让 top-K 选择可端到端训练，只有文档部分可剪枝、问题部分不剪。代码与 checkpoint 以 Apache-2.0 在 GitHub 开源，测试上下文最长 128k token，NIAH 16k 上达到 11.3 倍加速和 3.42 倍显存下降。