CMU 11-768 AI Agents 第12讲强化学习系统公开
CMU 秋季最新课程 11-768: AI Agents
CMU 秋季课程 11-768: AI Agents 第 12 讲「Reinforcement Learning Systems」讲义和视频已公开，由 @dan_fried 与 @gneubig 主讲。该讲覆盖强化学习系统框架、推理侧与训练侧优化、训练-推理交互、Agentic RL 实战踩坑经验及 RL 框架设计。课程提出 RL 框架本质是训练与推理两种异质负载的耦合、前缀复用是 agentic RL 效率不变量、Token-In-Token-Out 设计错误曾造成全行业训练不稳定等观点。
查看原帖周末适合沉下心来系统性的学习基础知识 CMU 秋季最新课程 11-768: AI Agents 主讲：@dan_fried @gneubig 课程：https://t.co/9VlmFdAsCd 视频：https://t.co/KHZguasVoO
正文
CMU 秋季最新课程 11-768: AI Agents 主讲：@dan_fried @gneubig
第 12 讲「Reinforcement Learning Systems」讲义和视频已公开
这一讲从强化学习系统的框架开始讲起、再到推理侧和训练侧的分别优化、训练-推理交互、Agentic RL 的实战踩坑经验、RL 框架设计等，完整系统了讲述了强化学习系统的理论和实战。
在课程中看到几个最核心的观点： 1. RL 框架的本质是两种异质负载（训练和推理）的耦合，而非一套统一计算图 2. “前缀复用”是贯穿 agentic RL 系统效率的不变量 3. Token-In-Token-Out：一个微小设计错误曾造成全行业的训练不稳定 4. 权重同步与 R3：双引擎之间的隐藏成本 5. 架构演进终点：一切皆服务 + 在线 RL