Google 用冻结多 token 预测加速 Pixel 上的 Gemini Nano
Google Research 提出将多 token 预测(MTP)改造到已冻结的 Gemini Nano v3 上,在不改动主干权重的前提下加速端侧推理。该方法在主干最后几层附加轻量 Transformer 头,直接交叉注意力读取主干的 KV cache,省去独立草稿模型的预填充延迟,并比独立草稿模型节省最多 130MB 内存。在 Pixel 9 上,其 token 预测速度比同参数量独立草稿模型快 50% 以上,已随 Pixel 9 和 10 系列推送,用于 AI 通知摘要和校对等功能。

#产品更新#端侧#部署/工程







