先了解这件事
AI 综述
2026年10月18日,邵猛发布文章介绍斯坦福大学CS336课程第10讲“Inference”。据该文,这一讲由Percy Liang讲授,以一条数学主线串联架构、算法与系统三个层面的推理优化:架构层用GQA/MLA/CLA降维、局部注意力截断、量化、剪枝蒸馏压缩KV cache与参数;算法层用投机采样实现无损加速;系统层引入连续批处理、分页、前缀共享与写时复制。文章还提到,讲义为可执行形式,公式由sympy逐步推导并断言验证;Percy Liang认为KV cache是Transformer对推理不友好的结构性根源,为推理原生设计的架构(SSM、线性注意力、扩散式非回归生成)可能是最大改进空间。目前该内容仅有邵猛这一来源的发布记录。
AI 根据公开报道生成
最新进展 · 正式报道
斯坦福 CS336 第10讲：Percy Liang 讲推理优化事件进展
1 个已确认进展
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月18日
邵猛
斯坦福 CS336 第10讲：Percy Liang 讲推理优化
斯坦福 CS336 第 10 讲「Inference」由 Percy Liang 讲授，用一条数学主线串起架构、算法与系统三层推理优化：架构层用 GQA/MLA/CLA 降维、局部注意力截断、量化、剪枝蒸馏压缩 KV cache 与参数，算法层用投机采样实现无损加速，系统层引入连续批处理、分页、前缀共享与写时复制。讲义为可执行形式，公式由 sympy 逐步推导并断言验证。Percy 认为 KV cache 是 Transformer 对推理不友好的结构性根源，为推理原生设计的架构（SSM、线性注意力、扩散式非自回归生成）可能是最大改进空间。