一次 AI 推理到底发生了什么：从参数固定到延迟与吞吐的取舍

文章解释训练是学出参数、推理是使用参数且不改变参数，一次推理只跑前向传播，不需要损失、梯度和权重更新。文中拆解大语言模型的自回归生成，区分 Prefill 与 Decode 两阶段，前者计算密集并决定首字延迟，后者受显存带宽限制并决定每字间隔。文章还给出 KV cache 占用估算示例，并讨论批处理提升吞吐的收益边界、利用率逼近 100% 时等待时间无界增长，以及聊天场景优先压 TTFT、Agent 场景看端到端延迟。