斯坦福 CS336 第10讲：Percy Liang 讲推理优化
斯坦福大学 CS336: Language Modeling from Scratch
斯坦福 CS336 第 10 讲「Inference」由 Percy Liang 讲授，用一条数学主线串起架构、算法与系统三层推理优化：架构层用 GQA/MLA/CLA 降维、局部注意力截断、量化、剪枝蒸馏压缩 KV cache 与参数，算法层用投机采样实现无损加速，系统层引入连续批处理、分页、前缀共享与写时复制。讲义为可执行形式，公式由 sympy 逐步推导并断言验证。Percy 认为 KV cache 是 Transformer 对推理不友好的结构性根源，为推理原生设计的架构（SSM、线性注意力、扩散式非自回归生成）可能是最大改进空间。
查看原帖Stanford、CMU 和 MIT 三所顶级大学的 5 门 AI 课程之外，再分享两门更偏理论和基础的课程。 CS336: Language Modeling from Scratch Stanford AI 课程链的顶点实现课，由 Percy Liang 与 Tatsu Hashimoto 联合执教，从零亲手构建一个完整的语言模型。 CS221: Artificial Intelligence: Principles and Techniques Stanford AI 的本科主干入门课，由 Percy Liang 执教，用统一的数学框架（学习、搜索、MDP、博弈、贝叶斯网络、逻辑）把整个经典 AI 领域走一遍。 这两门课程都来自 Stanford 大学，讲师都有 @percyliang (@stanfordnlp 教授，@togethercompute 联合创始人）。 CS336 课程地址 https://t.co/weu3x3Ulst https://t.co/yq6XzfaqE4 CS221 课程地址 https://t.co/aXReeC4gZQ https://t.co/f7d6VlTbXz
查看原文
Stanford、CMU 和 MIT 三所顶级大学的 5 门 AI 课程之外，再分享两门更偏理论和基础的课程。 CS336: Language Modeling from Scratch Stanford AI 课程链的顶点实现课，由 Percy Liang 与 Tatsu Hashimoto 联合执教，从零亲手构建一个完整的语言模型。 CS221: Artificial Intelligence: Principles and Techniques Stanford AI 的本科主干入门课，由 Percy Liang 执教，用统一的数学框架（学习、搜索、MDP、博弈、贝叶斯网络、逻辑）把整个经典 AI 领域走一遍。 这两门课程都来自 Stanford 大学，讲师都有 @percyliang (@stanfordnlp 教授，@togethercompute 联合创始人）。 CS336 课程地址 https://t.co/weu3x3Ulst https://t.co/yq6XzfaqE4 CS221 课程地址 https://t.co/aXReeC4gZQ https://t.co/f7d6VlTbXz
正文
斯坦福大学 CS336: Language Modeling from Scratch
第 10 讲「Inference」，在前后两讲 Scaling Laws 和 Scaling Laws II 之间，@percyliang 教授用一条完整的数学主线串起从架构、算法到系统的全部优化手段，把 “训练完的模型，如何又快又准地生成响应？” 讲得非常清楚！
讲义采用 CS336 特色的“可执行讲义”形式，所有公式都是符号计算（sympy）逐步推导并断言验证的。整讲的逻辑顺序是：自回归 → 无法沿序列并行 → 算术强度低 → memory-bound → 一切优化 = 减少每步搬运的字节数，围绕这个链路展开。
1. 架构层（有损）：GQA/MLA/CLA 降维、局部注意力截断、量化、剪枝蒸馏；全部服务于“把 KV cache 和参数压小，且用评测证明没伤准确率”；
2. 算法层（无损）：投机采样，用“验证快于生成”的不对称性换取精确的免费加速；
3. 系统层：连续批处理、分页、前缀共享、写时复制；操作系统经典思想向 GPU 服务的迁移；
4. 张力贯穿始终：延迟 vs 吞吐（批大小）、速度 vs 准确率（每一项有损技术）、新颖性 vs 可信度（GQA 与 MLA 论文结论的相互打脸）。
Percy 在结尾留下的展望是最本讲有分量的判断：KV cache 本身就是 Transformer 对推理不友好的结构性根源；一个从第一天起就为推理设计的架构（SSM、线性注意力、扩散式非自回归生成）可能是这一领域最大的改进空间。