Sebastian Raschka 开放 11 小时推理模型构建视频课，用…
从零构建推理模型：11 小时视频课，把评估、推理时扩展、RLVR 与蒸馏写进 PyTorch
Sebastian Raschka 的「Build a Reasoning Model (From Scratch)」配套视频课已开放，共 11 小时、八讲，从已预训练的小 Qwen3 0.6B 起步，用 Python/PyTorch 手写 verifier、推理时扩展（采样、自洽、打分、自我精炼）、简化 GRPO 版 RLVR 和向更强教师蒸馏。课程跳过从零训练底座，前期生成与评估可在 CPU 上完成，后期训练建议使用 GPU，并在 MATH-500 上评估效果。邵猛在推文中转述了课程设计，并用发动机类比区分常规 LLM、推理模型与 Agent harness。
查看原帖完整的从零开始推理视频系列现已上线（并附有链接）：https://t.co/5IOHLTCIGt （稍作休息，但会在11月带着LLM模型和研究更新回来！）
查看原文
The complete reasoning-from-scratch video series is now up (and linked) here: https://t.co/5IOHLTCIGt (Taking a short break but will be back with LLM model and research updates in November!)
正文
从零构建推理模型：11 小时视频课，把评估、推理时扩展、RLVR 与蒸馏写进 PyTorch
@rasbt 「Build a Reasoning Model (From Scratch)」系列绝对是系统学习模型构建原理和实践最佳教程，可能没有之一，这次开放的是与新书配套的完整编程课：从已预训练的小 Qwen3 起步，用 Python/PyTorch 手写评估 verifier、推理时扩展（采样 / 自洽 / 评分 / 自我精炼）、GRPO 版 RLVR，以及向更强教师蒸馏；主线是理解「推理模型」本身。 https://t.co/9HfdL9ePwo
推理模型、普通 LLM、Agent 怎么放 文中用发动机类比：常规 LLM 是引擎；推理模型是在其上加更多可验证奖励的强化学习后训练（可选再加推理时扩展），更擅长数学与代码等难题；Agent harness 则是外层工具与上下文管理，让引擎去做更大任务。Agent 可用普通 LLM 或推理模型，但当代主流多是带可调推理力度的推理模型。系列资源对应三本/三块：LLM from Scratch → Reasoning Model from Scratch → Coding Agent 组件文。
课程怎么设计 · 起点：小预训练 Qwen3 0.6B，跳过「从零训底座」，专攻评估、推理时扩展、RL、蒸馏 · 前置：熟悉 Python 与 PyTorch；上一门 LLM from Scratch 推荐但不强制 · 算力：前期生成与评估可 CPU；后期训练强烈建议 GPU；视频 1 与仓库有环境建议 · 学习路径建议：先读对应章节 → 跟视频写代码 → 做练习；另有约 90 分钟 LinkedIn Learning 概念课可当预习
八讲内容（按工作流） 1. 动机与环境：LLM / 推理 / Agent 关系；uv 装依赖；CUDA / Apple Silicon / 远程 GPU 2. 加载底座与生成：载入 Qwen3 权重；流式生成；KV cache + torch.compile 3. Verifier：抽答案 → 规范化 → 数学等价；在 MATH-500 上评估；并为后续 RLVR 奖励 复用 4. 推理时扩展 I：temperature / multinomial / top-p；self-consistency（多数票）；精度 vs 额外算力 5. 推理时扩展 II：token/序列 logprob 打分破平；self-refinement（批评→改写）并评估 6. RL：简化 GRPO：RLHF vs RLVR；组内相对优势；简化 GRPO loss；训练循环与 checkpoint 7. RL：稳定与分析：entropy / advantage、clip、KL、format reward；防 reward hacking；再评 MATH-500 8. 蒸馏：soft/hard、on/off-policy；用 DeepSeek R1 等教师数据；监督训小模型并对比