开放模型盘点：Kimi K3、Qwen 3.8、蒸馏争议与开源闭源差距

37 2 4 1× 0:00 当前时间：0:00 / 总时长：-49:04 -49:04 您的浏览器不支持音频播放。请升级。开放模型盘点：更多关于 Kimi K3、Qwen 3.8、习近平 WAIC 演讲、蒸馏、开源与闭源差距以及下一步的内容 与 Florian Brand 的播客。Nathan Lambert 和 Florian Brand 2026年7月22日 37 2 4 分享 文字稿 好消息！我那本旨在与世界分享后训练知识的书已经完成，即将发货。可在 Manning 或 Amazon 订购。感谢支持。它目前是亚马逊排名第一的 AI 图书 :)。Nathan 和 Florian 坐下来讨论开放模型领域发生的一切。继上周 Kimi K3 发布之后，感觉一切都在加速——美中地缘政治、开源与闭源模型的经济学、AI 前沿的安全问题等等。章节：00:00 欢迎与背景 04:38 使用 Kimi K3 的体验 08:53 GLM 5.2 的持续作用 12:47 中国模型为何如此出色？17:41 数据、环境与中国实验室巡礼 19:47 中国厂商综述：Qwen、DeepSeek、MiniMax…… 24:08 美国开放模型生态 30:25 前沿与近前沿，以及反对禁令的网络安全论据 34:58 蒸馏与 Ben Thompson 之争 44:12 预测与前沿梯队排名 48:36 总结

可在 Apple Podcasts、Spotify 以及您获取播客的任何平台收听。其他 Interconnects 访谈请见此处。

更多后训练教学视频，请参阅我正在制作的课程。

00:00:06 Nathan Lambert：好的，欢迎回到 Interconnects。我们正在做季度开放模型盘点，这主要是我们在取笑或解释——不是取笑——为什么这么多关于蒸馏的观点都很糟糕，并理解当前的形势。我记得上周四是 Kimi K3 发布的日子。我认为在不久的将来我们会看到更多更多。这似乎相当不可避免。比如在周末，习近平发表了他的演讲，直接承诺将开放和开源作为一种战略。这并不是一份详细的现状布局。

Qwen 宣布他们的下一个大模型将是开放权重，这是一个重大变化。我觉得有太多东西要聊了。Flo，我觉得你已经在谈一些关于性能差距和蒸馏的观点了。所以我们大概可以从那里开始，然后我边聊边有一个小清单，我们可以随时过一遍话题和我写的那篇博客，它们都非常细致入微。所以我觉得我们有无限的话题可聊。那就继续你的吐槽吧。

00:01:17 Florian Brand：是的，我觉得，或者说每次模型发布时最大的话题——至少每次开放模型发布时——就是它落后闭源前沿多少个月。嗯，人们喜欢给这个加上一个确定的数字，这真的非常混乱，因为如今我们有这么多不同的基准测试提供方，也有这么多不同的基准测试，每个网站——我也难辞其咎——都会拿出他们最喜欢的基准来显示当前模型或新发布的模型处于前沿，然后另一方又拿出另一个基准来反驳，说哦它其实落后一年之类的。嗯，而且很多似乎都取决于这个问题：开放模型落后多少个月。

00:02:26 Nathan Lambert：是的。所以我的挑衅性观点是，有些基准实际上与人们正在做的事情有合理的相关性，这就是智能体编程和智能体计算机使用任务，而有些基准则与长尾相关，我认为这正是 Claude 和 GPT 如此有价值的地方。但如果问题是 Claude Code 和 Codex 目前的市场是什么，如果是软件工程，那么模型在这方面落后几个月可能是一件非常非常大的事，然后我怀疑这个模型会还不错——免责声明，模型权重还没发布，据说是在 7 月 20 日至 27 日，很多讨论都将基于它们会发布的假设。

但人们可以对这个模型进行后训练，很可能在许多人们想要的细分领域中与 Opus 和 GPT 匹敌，我认为看着——我是说我们对后训练开放模型行业有不同的视角，但在让这些模型针对特定高价值任务进行微调方面有大量的兴奋和进展，这在历史上是在 Qwen 和 GLM 的混合基础上完成的，而 GLM 5.2 确实加速了这一进程，我很好奇第一个发布博客文章说我们在我们的任务上微调了 Kimi K3 的人，因为我敢打赌你能获得巨大的收益。我觉得即使是你使用 Kimi K3 也比我多，但我的直觉是，鉴于它的规模扩展之大，它的后训练会有些粗糙，而这通常意味着仍有大量性能可以被挖掘出来。不。

00:04:38 Nathan Lambert：是的。所以我在发布后第二天左右注册了 200 美元的套餐，这是他们最大的套餐，与其他家类似，但他们也有比如 40 美元和 100 美元的。嗯，但最大的套餐有 100 万上下文，我认为——或者至少感觉它在 API 请求方面也有一些优先级，因为网上很多人说他们经常遇到 API 错误，而到目前为止我一直——如果我要这么说的话——过得相当不错。嗯，就模型能力而言，在某些方面，除了前端它确实很擅长之外，它在某些方面确实很出色、很卓越。

嗯，甚至我的预期，即便是像我在Interconnects做的一些研究任务之类的，我们现在已经有超过一年的开放模型数据了，嗯，我让前沿模型提出一些我们以前没做过的有趣分析，因为我们自己做分析并发表出来，嗯，我让它们做点新的，基本上就是给我惊喜。而很多模型或前沿模型，或者基本上所有模型都抓住我们做过的东西，重做数据分析部分，然后做一些奇怪的深奥的东西。

嗯，Kimi K3做了一些更有趣的事情，嗯，我明确告诉它去抓取Reddit，嗯，然后它找到了一些我甚至没考虑过的子版块，然后发现比如Reddit上的讨论比通常早一两个月，或者他们发现有趣的模型比下载量通常起飞早一两个月，就像他们都盯上了Qwen，然后人们下载更多Qwen模型，这类分析是开创性的，嗯，但这是Kimi相比所有其他前沿模型让我惊讶的地方。

一个简单的问题，比如你能把这个用于你做的大部分核心工作吗，就比如你有你倾向于做的一堆事情，大多数是用Codex，我觉得你是Codex派而不是Claude派，你觉得这个模型能胜任的维恩图重叠百分比大概是多少

00:07:24 Florian Brand：呃，这真的取决于我给它多少自由度，比如，我现在用Kimi K3看到的大问题是，我正在做我们在Prime Intellect做的框架，那是我工作的地方，我发现Kimi的主要问题是它的代码简单得多，嗯，这让它可读性强得多，嗯，但它漏掉了一些Codex或者我们说56、55尤其是54会达到的水平的东西。所以，我会说Kimi K3在这类任务上大概是54-55的水平。

但如果我读了代码说好吧这代码真不错，然后我用Codex过一遍，它会发现所有这些它不擅长的细分边缘情况，但对于监督运行或跑一些实验，它其实相当可用。嗯，对于一些其他细分的事情，你可以直接让它跑。一个缺点是，但这也是因为API在用户方面完全被挤爆了，而且他们的服务器在中国。实际耗时比GPT显著显著地高。但我会说，如果我硬推它并在我的日常工作流中使用，我会变慢，但不会慢到我会说“好吧，这没法用”的程度。

00:08:53 Nathan Lambert：那这和GLM 5.2相比如何？因为在我看来GLM 5.2还是一个正在展开的故事，就像我在旧金山到处逛，人们会说对，我真的用这个来做我这部分智能体编程和/或工作流。嗯，你怎么样，我觉得你是在那个阵营里用过GLM吗，还是

00:09:20 Florian Brand：是的。比如你在哪里，我也用过并且还在用GLM，主要是因为我们有一个非常快的内部端点，我们有或者在那之前我也用一个API，我不知道每秒200或300个token。嗯，如果你能以足够好的水平非常快地做很多任务，你就直接用那个模型，而不是去Codex然后选较小的模型然后选正确的推理强度然后选快速，我就直接用GLM得到同样的结果，嗯，而且挺不错的，它在能力上绝对是Sonnet级别的，对于很多清理任务、只是苦力的任务，它真的管用。就像我会说，你可能可以用Kimi K3作为主智能体、GLM做子智能体工作，在很多工作上走得很远。

00:10:24 Nathan Lambert：Kimi的公告和这些模型的规模有一点很不同。我觉得这些开放模型要真正被优化并在各推理提供商上可用会需要更长时间。比如GLM 5.2挺快的，但第一，我们还没有权重，第二，我不认为它的采用推广会像500B、700B MoE那样快。我觉得那里会有更多问题，这是一个非常不同的局面，过去中国模型会完成它们的RL运行并在几小时到几天也许一周内发布开放权重模型，然后生态系统马上就知道怎么做了。

我认为，在下一波开放权重模型规模上，基础设施的提升要大得多，我觉得我们必须把这一点考虑进去，就像闭源实验室在发布模型之前会在幕后做这些事一样。所以这就像是，在某种程度上操纵了时间差，可能要多等一个月，人们才能真正进行后训练，并在他们的工作流中大规模使用Kimi。而且我们作为开放权重爱好者总爱说，哦，只有在闭源模型可用时，你才能利用时间差，但现在开放模型也有类似的动态，就像Kimi的API完全崩了。供给太多。需求太多。供给不够。所以并不是这个模型会立即扩散，就像我，我只是在思考这与性能时间差的关系

00:11:54 Florian Brand：因为那确实是真的，但另一方面，开放生态在过去几个月里已经相当专业化了。呃，比如在你们最初发布期间，它们都带着一些合作伙伴，这些合作伙伴提前拿到了权重。他们提前几天甚至几周就推出了vLLM补丁，这和一年前完全不同，那时基本上权重一放出，模型制作者就说，好吧，你们自己想办法解决。所以我预计第一天的普遍可用性会相当不错，然后各家提供商的竞赛就开始了，他们开始优化以获得越来越高的速度，因为这太有面子了。

00:12:47 Nathan Lambert：是的。好。有两个方向可以聊。为什么我们认为中国模型能这么好？我想我写过，我们的Discord里和Epoch的JSD有过一场辩论，我觉得那很好，我的文章里有这一节，我正逐渐倾向于认为中国实验室的资本效率更高，你可以把资本转化为算力、数据和人才，从而让模型更好，这真的，我认为这超级重要，如果它确实是一种结构性优势，不管原因是什么，我认为原因可能是人才在他们各自的教育体系下受到了更好的训练，去解决让LLM更好的问题。

也可能只是中国的算力、人才等一切成本都低得多。不管是补贴，还是平均工资更低。但随着我们推进模型迭代，这是件大事。如果下一代模型对Anthropic来说要花100亿美元，但对Kimi来说只要40亿美元，这，这可能非常巨大，但还不清楚为什么会这样。例如，我想Big Eagle，那位Kimi工程师回复了我关于这个的推文，说这有帮助是因为我们不是想推动前沿。只是想追赶，这真的可能是一种心态问题，即中国实验室的目标是如何界定的，使得他们构建这些模型的成本低得多。

但在过去一年里，我们问了很多问题，比如中国模型会不会掉队。我曾认为闭源和开源模型之间的差距会因为训练的这种资本密集度而扩大，但看起来情况正相反，这真的很难解读，但你是否同意这些实验室，也就是中国实验室，保持得比我们预期得更好一些，为什么？

00:14:43 Florian Brand：嗯，我实际上看了我们基于去年总结对今年的预测，我们基本上说差距会保持在几个月之内。呃，所以那个预测似乎大体成立。呃，幸运的是，我们没有给出具体数字，是3个月、6个月还是9个月。所以我们在那方面是安全的。呃，但我觉得我们俩在中国和这些人交谈时的普遍感受是，他们，研究人员本身就是两三百人的团队，都是二十多岁，都只想让一个模型变得非常好，他们似乎不做任何支线任务。

他们似乎不做任何偏离这些事情的事。而且嗯，他们可能在算力方面，这对我们来说是个很难回答的问题，尤其是现在这些中国芯片开始上线。我还认为芯片，我认为芯片走私在过去6到9个月里大幅增加，或者走私的芯片开始上线了。

00:15:58 Nathan Lambert：走私是绕过出口限制的统称。如果芯片在马来西亚而且他们在用，我也算作类似情况，我认为这在过去六到九个月里大幅增加，这在一定程度上是那的结果，而且你说，但我只是想把这一点提出来，我确实认为他们拥有的算力比训练上一代模型时多得多。

00:16:24 Florian Brand：是的。就像我们，或者只是提供背景，两周前我想LongCat发布了他们的模型，他们声称，而且我们知道这很可能属实，是完全在中国芯片上训练的。呃，他们没有公开具体是哪些，但人们推测是华为的一些昇腾，嗯，随着国内产量提升，你可以，它们可能大部分被使用，或者它们被用于训练，但它们对推理特别有用，而推理也是训练的一大部分。

所以他们可能在训练部分混合使用一些英伟达和其他芯片，然后在推理部分使用越来越大的比例，这个阶段非常重要。所以我认为他们的总算力在增加，而且他们实际上没有很多用户。所以他们不需要像ChatGPT那样为10亿用户提供动力，也不需要像Anthropic那样为成百上千家企业提供动力，因为他们没有那种量级的付费客户。

00:17:41 Nathan Lambert：是的。而且我觉得即便是那些付费客户，至少在企业侧，当你支持这些东西时，公司里就是会有时间和闲聊。即使你不是做研究的，即使这不在你的工作范围内，它确实会改变公司的注意力。如果 SSI 推出一个好模型，那将是对“分心是个问题”的终极验证，但这是题外话，我们可以等等再说。我觉得也有关于数据和环境产业开始在那里出现的传闻。

你记得任何具体的吗？因为我们在中国时，他们似乎很少利用外部数据，这有点令人震惊。所以就在几个月后，在我们四月之行几个月后，然后在七月，仅仅几个月后，我们就听到一些关于中国新公司想要购买数据之类的事情。这时间线挺有趣的，变化真快。

00:18:40 Florian Brand：而且我会对他们实际告诉我们的内容加上误差范围。

00:18:44 Nathan Lambert：而且因为时间太近了，我不确定。

00:18:49 Florian Brand：是的。那那那可能那可能是真的。呃，但这类事情很难 pinpoint。但我可以说，购买外部数据似乎正成为一个更重要的因素。呃，这将帮助开放模型赶上闭源模型，如果他们只是购买相同的数据，也许还能打折，因为他们稍后才购买数据环境。但这确实是一个因素。这个因素有多大，我们不知道。我们没有任何公开的洞察，我怀疑我们真的能从任何人那里获得这些洞察，呃，所以这绝对是为什么我们能够赶上或提高他们模型分数的部分原因之一。

00:19:47 Nathan Lambert：好的，其他中国模型提供商的综述。我们谈过 Kimi，我们谈过 Zhipu / GLM。我觉得很快会有更多非常好的 GLM 模型。他们可能会叫它 GLM 5.5。呃 Qwen，我们谈过他们最大的模型即将到来。Qwen 最大的模型，我要说，相对于他们小模型的卓越表现，在性能上并没有同样的绝对排名，这可能是专注的代价。我觉得这跟云公司有关。这几乎就像，如果你眯着眼看，这几乎就像 Google。

这就像 Qwen，阿里巴巴在这里有如此多的机会，而让开发者通过这些小模型与阿里巴巴 Qwen 关联起来，对他们的云来说是一个巨大的机会，我认为他们在这方面取得了巨大成功。但他们的大模型从来都不如小模型那么出色。所以我不指望他们的模型会像 Kimi K3 或 GLM 5.2 那样具有突破性。我预计它会被新闻作为重大开放模型报道，作为中国开放模型的名字，但我不认为它会像新闻故事那样持续。呃 DeepSeek，你可以，如果你想插话就说吧

00:21:01 Florian Brand：有趣的是，不知道你有多关注这个，但他们有一个端点，你可以用来预览版本，而且他们每天都更新这个端点，所以他们有非常快的迭代周期，因为我们在所有这些呃 Twitter 呃 基准测试中取得进展。所以很多这些 SVG 东西和 three.js 之类的所有视觉生成任务，模型在过去几天里进步了很多。所以他们找到了某种快速反馈机制，呃，其他公司也有。呃 我们知道这个，或者 cursor 有很多关于他们如何快速迭代的博客。呃 但他们似乎不断上传新的检查点并使其可用。

00:21:47 Nathan Lambert：呃 但我同意。我猜这就像在他们最终 RL 运行中的时间门控。就像在他们的 RL 运行结束时仍在略微改进，他们只是勾选一下。

00:22:03 Nathan Lambert：好的。Qwen DeepSeek V4 应该会推出预览版。呃 关于 DeepSeek V4 的事情，我认为 flash 模型实际上更受欢迎，这是他们较小的模型，似乎是人们的绝对主力。所以我认为那才是他们值得关注的模型。我不指望 V4 Pro 会有戏剧性的突破。这类似于任何事情，比如如果小米很快发布新的 MiMo Pro 模型。我不指望它会有那么大的发布，但它可能是一个非常扎实的模型。只是很难知道。他们仍然是一个相当新的进入者。MiniMax，我认为，在玩不同的游戏。我不认为 MiniMax 在追逐这种呃 Kimi/GLM moonshot 到 AGI 类型的氛围。

00:22:46 Florian Brand：哦，我会，我会在这一点上不同意。

00:22:49 Nathan Lambert：你认为，你觉得 MiniMax 还在这个里面吗？

00:22:52 Florian Brand：是的，我我我我觉得他们看到了这种紧张，特别是因为他们是上市公司，类似于 GLM，如果你看看过去几天那些股票的股价表现 RIP，呃 这这这似乎造成了巨大差异，有趣的部分将是呃 许可证，因为他们已经大幅改变了许可证，变得越来越严格，呃 如果在习近平呃 讲话之后现在又改变主意的话。

呃 看看 MiniMax 是否会回到完全开放的许可证，这将很有趣。另一个有趣的事情是呃 K3 将采用哪个许可证，因为他们说过会开源，但我不认为他们在实际许可证方面做出了任何承诺，即你附加在上面的许可证。

但我确实认为有必要稍微谈谈美国生态系统。我认为有一些新兴参与者。Thinking Machines 发布了他们的第一个模型。我和他们中的一些人聊过。他们非常愿意研究如何用 Tinker 做出一个可微调的模型，我认为这是一个我强烈推荐大多数开放模型构建者关注的研究领域。我认为如果你能在那里获得心智份额，你就会获得大规模采用，因为关键更多在于能针对真实任务进行微调，而不是拥有最好的数字。嗯，所以这就是他们的 Inkling 模型，它是一个一万亿参数的模型，得分还不错，但不算前沿。

我认为有点像 DeepSeek V4，他们计划发布一个更小的版本，总参数大约只有四分之一，性能非常非常好，如果 Inkling small preview 在几周内发布，我确实认为那将是一个被大量使用的模型。它的规模很适合自动化任务和特定领域任务，可能不是像 Kimi 和 GLM 5.2 那样的通用智能体类型的东西，但我认为这非常契合他们的业务。嗯，我知道还有一些其他——我会说美国较小的参与者似乎表现不错，比如 Arcee 今年早些时候发布了他们的模型，仍在稳步推进。Poolside 已经开始发布一些模型。

他们在过去几个月里已经拿到了几个，并且似乎准备在此基础上发布更多模型。所以他们真的在推进。Reflection 永远处于“模型即将推出”的阵营，如果他们真的致力于开源，那么推出一些模型、一些代码或其他东西，让他们能够开始转动开发者飞轮，对他们确实大有好处。这需要很多——把模型发布出来很难。比如我和 Thinking Machines 的一些人聊过，感觉就像是，哦，实际做这件事工作量很大，我想。嗯，Nvidia 也在稳步推进。我认为他们现在是稳定的参与者。他们坚持发布模型。他们很快就会发布更多。他们发布大量数据。我在催他们尝试发布 Qwen 风格的小模型，就像 Gemma 那样。

Gemma 只有这些像 Qwen 竞品一样的模型，非常受欢迎。嗯，Gemma 模型有点——它们在尺寸上或针对这些尺寸的架构上有点杂乱，但 Gemma 模型在采用率方面确实真的能与 Qwen 模型匹敌。嗯，我不确定它们是否同样易于用于研究，这可能需要一段时间。可能需要多次迭代。比如现在语言模型研究的很大一部分都是围绕小型 Qwen 模型和基于 Qwen 的模型设计的，所以这需要时间。比如人们非常清楚如何使用这些模型，以及如何利用研究成果。所以我希望 Gemma 继续推出，并能在这个细分领域竞争。我不知道我在这里漏掉了谁。

00:27:22 Florian Brand：不，我认为两者都是大玩家。呃，模型创作者方面确实在变得更广泛。呃，比如去年，除了 Gemma 3 和呃 GPT-OSS 之外，我们还有任何发布吗？

00:27:41 Nathan Lambert：GPT-OSS 2 会很猛，而且显然还有 Nemotron。嗯，哦，我还认为年初有 Llama 4，但呃，我不想让那个被遗忘，但我们确实看到更多参与者现在加入，并以令人难以置信的速度推出模型。

00:27:59 Florian Brand：比如 Poolside 在过去两三个月里已经发布了三四个模型。呃，他们似乎找到了某种相当稳定地推出模型的方法。嗯，这也是我们在开源侧看到的情况。我们谈到 GLM，我认为他们模型发布的迭代时间现在在 1 到 2 个月之间，每个新迭代都越来越好，这非常像闭源实验室的做法，比如我们现在大约每 6 周就会得到一个新的 GPT、一个新的 Claude。呃，所以就拥有足够好的流水线来发布越来越强的模型而言，他们必须做到，或者说开源生态系统真的已经弄明白了，或者看起来已经弄明白了。

00:28:59 Nathan Lambert：是的，我同意。这很有希望，但也很有趣，比如美国生态系统开始发布一些模型，然后你又有 Xi 在麦克风前和这两个模型。就像，真的很难赶上，因为训练人们实际使用的模型需要大量机构专业知识。我认为这就是那些发布模型的美国公司现在意识到的事情：这些不只是刷榜的蒸馏窃取知识产权模型。

这些是真正优秀的模型，人们会在内部交易基准上与之比较，然后看到在可衡量的指标上击败它们有多难。我认为这就像——我从美国交易模型的一些人那里感受到了这种情绪，就像有一些——我认为人们应该在规模和可微调性上创新，并尝试利用这个离家很近的潜在市场，但每家公司发布一个可以声称是前沿的模型的压力都太大了。我认为投资者对这么多参与者都有这种期望，所以他们正在尝试做一件相当困难的事情，未来一年美中平衡将如何展开会很有趣。

00:30:25 Florian Brand：是的，我认为或者总的来说，我和很多其他人都谈过总体生态系统，这也是你在最开始谈到的。我认为我们看到模型能力之间越来越分裂：对许多任务来说已经足够好，比如对很多编码任务来说，当前的前沿模型无论开放还是闭源都已经足够好。嗯，这里的改进感觉越来越不重要。

但如果我们看最前沿，也就是发现新的数学证明、找到新的疗法、发现新药、发明新东西，那似乎是完全不同的一头巨兽，而且很可能在相当长一段时间内由最前沿主导。那么最大的问题就变成：就可触达市场而言，这到底有多重要，以及这会成为多大的焦点。我认为，或者说我的基本判断是，我们看到前沿正在越来越收窄。我们在 Mythos 的网络安全 GPT……或者生物技术方面已经看到了这一点：那些模型不会对所有人开放，嗯，甚至可能连外部合作伙伴也不开放——如果我们考虑有报道称 Anthropic 现在正在孵化或创建一些内部实验室来开发药物的话。

嗯，所以最前沿对所有人来说都不可及，而近前沿能力正变得越来越商品化，嗯，这有很多不同的影响，尤其是如果你考虑网络安全之类的事情。两三天前 Hugging Face 有一份报告说，他们有个智能体试图黑进他们的系统。嗯，他们试图用 GPT 和 Claude 来分析它，但没能做到，因为所有护栏都拦住了他们。所以他们不得不用 GLM，一个能力较弱的模型，但它对这类防御行动没有护栏。他们不得不用一个更差的模型来防御自己或分析数据，这是一种糟糕的处境：我们现在有美国公司依赖较弱的模型，因为封闭的前沿对他们不可及。

00:33:10 Nathan Lambert：是的。而且我认为这实际上是不做任何事情的最佳论据之一。就像如果世界其他地方都能使用这些开放模型，而我们禁止美国公司使用它们，那美国公司防御能力和世界各地攻击者之间的差距就会不断扩大，在网络安全方面；我们可以争论在当前能力水平下网络攻击的即时风险有多大，但如果你在结构上设置成防御者不会随着时间变得更好，而攻击者可以，那看起来就是——为什么网络风险会变得更真实？而且要非常明确：那将是因为你禁止美国公司使用最好的中国开放权重模型。

而且这项禁令很可能是一种影子禁令，也就是以法律行动或惩罚的法律威胁形式存在，却不清楚具体通过什么路径来实施。现在有很多关于这方面的讨论。我不喜欢——我不知道我们会不会对此有很多话要说，但很明显，华盛顿特区正在试探各种方式，限制最好的中国开放权重模型在美国的使用。我认为这是某些散布恐慌的下游产物。我们也会过渡到蒸馏问题。就像所有这些来自美国主流 AI 媒体叙事的东西，都指向中国模型窃取知识产权、或者危险、或者与中国政府——一个威权政府——有关联。

而所有这些事情都在导向这个时刻：人们有兴趣对 AI 采取行动，却又不太知道该在哪里动手。所以可能对所谓的敌人采取一种粗糙的手段，然后我们可以过渡到蒸馏。我认为这方面有很多讨论。最近 Ben Thompson 终于就蒸馏发表了看法。我认为 Ben 大概是科技界阅读量最高的博客（Stratechery）。我觉得这场辩论——让我们看看，我们甚至该从哪里开始这场辩论。核心问题是：蒸馏到底有多大帮助，以及你应该怎么应对？我一直认为，随着中国模型越来越接近前沿，且训练范式转向 RL，蒸馏的影响正变得越来越小。蒸馏通常发生的方式是，中国实验室黑进 API。黑进这个词可能有点重，但他们会越狱 Claude 和 GPT 的 API 来提取推理 token。

当你拥有推理 token 以及工具调用时，那就是完美的 SFT 数据和/或中期训练数据，可以用来训练基础模型，在重要领域播种一些智能体行为。而在此之后，后训练的核心部分就是在智能体领域进行大规模 RL，从而推动前沿，以及他们今天所做的一切；而且随着 SFT 在之前几代中变得不那么普遍，RL 只会变得更加普遍——你本可以仅通过扩大 SFT 就非常接近前沿，那才会真正有影响力：如果你能从 Claude 或 GPT 取一百万个智能体 rollout，把它作为你的 SFT 集并在其上训练。

我认为在往年，这会更能让你接近前沿。Ben Thompson 说过一些让我非常恼火的话，他非常强烈地宣称，随着你做 RL，蒸馏正变得更有影响力。他是在他那篇《谁害怕中国模型》的文章里这么说的。我们可以在下面放链接。那是一篇公开文章。然后他还上了自己的播客巡演。他也有播客，说了同样的东西。而我认为非常重要的是要指出，在 RL 阶段的蒸馏要难得多。

他所说的是，在 RL 期间可以使用的那种评分模型——本质上就是你可以让一个模型检查一次 rollout 的智能体轨迹，并对不同部分打分，看它是否完成了奖励、采取了哪些动作。而他暗示中国实验室正在用 Fable 和 GPT 5.6 以及最强的模型，在 RL 中实际做这种监督。问题在于，大型 RL 运行是数以百万计的 rollout。我记得 Thinking Machines 的博客文章说他们最终的 RL 运行大概有两千万到四千万次之类的。所以要在像 Fable 或 GPT 5.6 这样的 API 上做这件事，会贵得离谱，而且很可能还会成为时间瓶颈，因为这些模型相当慢，而且坦白说，相比使用你自己定制的评分模型，它甚至可能不会给你带来性能提升，还有很多类似的问题。

我们得继续推进，让他更正记录，因为我也不知道。我我觉得特别烦的是，科技界最有影响力的声音，试图在我们关于蒸馏的观点上充当盟友，而那个观点就是我们应该什么都不做。呃，但这很难。就像他影响力这么大，这现在就要变成我们不得不去驳斥的现状了，我猜这比……我也不知道，其实不，这没帮助，因为他在说蒸馏更重要，这意味着那些对此感到害怕的人会拿这个当数据点，说我们应该采取行动，即使他们自己不会这么做，因为他们大概不会同意他的结论。我不知道。这就是我的吐槽。Ben，你错了。

00:39:16 Florian Brand：是的，我我确实认为区分这些阶段很重要。呃，尤其是毫无疑问它在 SFT 阶段被使用，那是后训练的第一个阶段，或者说阶段之一，那也是模型学会礼貌的地方，比如模型会说“哦，我是 Claude”，就是因为它们在 SFT 阶段学到了这个，呃，人格就是在那时形成的，但强大的能力是在 RL 阶段出现的，那才是花钱的地方，那才是你需要一个足够快的评判器的地方，最好它就跑在同样的 GPU 上，或者离你的 GPU 非常近，用一个小一些的或者足够快的模型，这样你就呃不会被它卡住瓶颈。

呃，就影响而言，也很难说更好的模型 SFT 数据相比更差的模型到底能给你带来多大影响或多大提升。呃，所以如果你能拿到最新 Claude 模型的一千万 token，对比落后两代的开放模型，在保持阶段正确、呃、相同，预训练阶段也相同的情况下，这到底能带来多大提升，是一个开放问题，我认为我们不会在一篇论文里看到答案，因为那样你就得展示你的呃 SFT 和你的越狱能力了

00:40:48 Nathan Lambert：但我想在这点上再加码，比如关于生成 SFT 推理轨迹已经有相当多的文献，其中最突出的包括 Open Thoughts 那条工作线，他们做了 Open Thoughts 3 和 Open Thoughts Agent，在过去几年里算是基础性的、扩展推理 SFT 的工作，而每当有人重新审视这个问题时，他们都没有发现“你领域里性能最强的模型就是 SFT 的最佳老师”这个答案。人们试过，我试过，很多人都试过，这个想法太简单了，比如最先进的开放 SFT 数据集是建立在 QwQ-32B 上的，一个古老的推理模型之类的。

为什么我们不能直接从 GLM 5.2 生成补全，在上面做 SFT 然后改进模型呢？我们不知道。就像这项研究，很多人试过，而它并不是一个已有答案的研究问题。可能有些东西，比如基础模型、中期训练太接近 Qwen 了。所以因此就很难打破。你必须重做中期训练。我认为你必须为推理重做中期训练。我认为推理中期训练和推理 SFT 是如此紧密交织，几乎给它们起不同的名字都没有意义。那可能就是问题所在。但文献甚至不知道如何提取，比如如果我有一个神奇的 API，能给我来自 Claude/Gemini 的推理轨迹。我其实不知道我在那上面微调一个 OLMo 模型会不会让 OLMo 更聪明。

这是最疯狂的无解研究问题之一。而这恰恰让蒸馏这件事变得如此好笑，就像是的，我认为中国实验室确实在用 Opus 这样的强模型来获取一些 SFT 数据，但他们也在创新。我当时想，我倒希望他们告诉我们怎么让这玩意儿真正奏效。而我认为这个范式是，我认为就像 OpenAI 和 Anthropic 找到一个他们做得特别好的细分领域，然后中国实验室可以在那里拿到一些样本，来启动他们的数据引擎，那就是你会获得提升的地方，你会在某个特定领域获得几个月的领先。

但在数学、代码以及像 Terminal-Bench 这样的核心领域上做爬山式提升，他们其实只是在做同一件事，那就是生成提示词——也就是带有环境的、对当前模型来说很难的问题——并且提供真实的、非奖励黑客式的学习行为，而这非常困难。这基本上就是现在前沿数据研究的样子。而且，生成这些难题确实很难。我相信中国的实验室也在做同样的事情。我不知道。这就是我的吐槽。我有点忘了我们对话的上下文了。

00:43:23 Florian Brand：不，不，我同意。或者总结一下，是的，SFT 或蒸馏有一定效果。是的，它能带来提升，但没有人们希望或似乎认为的那么大。

00:43:39 Nathan Lambert：我觉得这是对这段对话很好的总结。这也变得有点令人厌烦，因为有人说所有这些开放模型之所以好，只是因为在蒸馏，这绝对不是事实，因为如果真是这样，每个人都能轻易通过用 GLM 或 K3 的数据做蒸馏来赶上它们。但我们还没有、也不会仅靠 SFT 看到这一点。

00:44:12 Florian Brand：是的，我同意。你有什么预测，或者想聊更多话题吗？

00:44:18 Nathan Lambert：说到预测，我觉得我们——我回顾了去年的预测，基本上就是说一切都会像前一年那样继续。我们预测会看到更大的模型，超过两万亿参数，确实如此，而我认为今年不会看到模型规模出现更大的爆发。我们可能会看到某个模型总参数略超三万亿，但我不指望今年会出现五万亿或十万亿参数的模型，那会让我非常惊讶。然后是去年的清单，我们能重做一下吗？不用做全部。

00:45:03 Florian Brand：哦，当然。

00:45:03 Nathan Lambert：这就是我们在 2025 年底的状态。你现在把谁列入前沿？是 Kimi，还有智谱。DeepSeek 如今有点难说。我觉得它们会属于接近的竞争者。所以我会把 DeepSeek 和 Qwen 列为与 Kimi 和智谱这些前沿模型接近的竞争者。你觉得还有别人配得上接近的竞争者吗？因为在那之后，值得注意的及以下的就太多了。

00:45:38 Florian Brand：我觉得年底前我们会看到 MiniMax 带来惊喜。我认为我们会看到一个大模型，不是 M3 那种规模，而是万亿参数以上，其输出相比之前会让我们惊讶，所以到年底我仍会把它们列为接近的竞争者。

00:45:54 Nathan Lambert：你觉得年底前会有美国公司进入接近的竞争者行列吗？Nemotron，我不觉得我会把它放进去。Thinking Machines 更接近，尤其是如果小模型真的取得突破。但我还不觉得我会把它们放进去。Reflection 据说只想在有前沿模型时才发布。但问题是我们能拿到吗？你觉得会有美国公司进入这个大致是年底前前五的名单吗？所以前五名还是那些，只是重新洗牌。

00:46:36 Florian Brand：我会说有可能，它们真的非常接近。这也取决于我们认为什么算接近。我觉得 Nemotron 和 Thinking Machines 会发布模型，它们作为针对你所在领域进行微调的极佳基础，这并不意味着它们像前沿模型那样可用，但它们有如此大的实用性，所以我会把它们列为接近的竞争者，因为你只需要找到你的数据，把模型推向正确的方向。

00:47:12 Nathan Lambert：我当时想，到那时我们会把这个变成六家，包括一家美国公司。如果我们到 11 月底再做这个，我猜会有一家美国公司——最可能是 Nvidia、Thinking Machines 或 Reflection——做出一些事情，让我们说有一家美国公司进入了这个顶级集群，这将是许久以来的第一次。

00:47:43 Florian Brand：是的，我觉得这很现实。我的一个变数是腾讯，我觉得年底前我们可能会看到一些东西。他们有了新的领导层。他们这次以 Apache 许可证发布了 Hunyuan 模型。等等，腾讯一直有这些自定义许可证，禁止英国、韩国和整个欧盟的任何人使用他们的模型，还有可接受使用政策等等。而有了 Hunyuan 和新的领导层，他们得到了一个约 2500 亿参数的非常能打的模型。我觉得年底前我们可能会看到一个大模型发布，让不关注这个生态的人感到惊讶。

00:48:36 Nathan Lambert：是的，我也确信我们会有一些惊喜。这就是 AI 尤其是开放模型的一贯特点。它非常非常难以预测。好，我觉得这是个不错的停止点。我们可能真该每季度做一次。这并不难，人们会喜欢的。很高兴见到你，我们很快再聊。希望很快能当面聊。

00:49:02 Florian Brand： peace。