网络风险讨论为何失焦：开源权重、意识形态与取舍

开放权重、意识形态，以及承认取舍。

关于开放模型的网络风险，我已经听过太多讨论了——有人假定禁止开放模型可以在孤立环境中进行（而恶意行为者不知怎地就会真的被拦住），或者认为中国是个威胁且不在乎人工智能安全——我觉得我们最终会做出既限制美国人工智能竞争力、又增加长期网络风险的政策决定。我感觉我们正被锁在一条双输的道路上，除非人们接受细微差别、取舍和可怕的现实。

关于这场辩论中各方的观点，已有大量论述，我总结如下：

开放权重模型对社会功能构成难以承受的风险——这一立场由前沿实验室领导层和美国国家安全界占据；西方有声音认为开放权重模型对防御是必要的，禁止它们会让世界更不安全——这一立场由AI风险温和派以不同程度占据。我把自己也归入这一类，还有OpenAI事件后Hugging Face的视角，以及Joshua Saxe等人；中国企业继续发布具有强大网络能力的开放权重模型，它们是基于其社会和政府的风险评估做出决策的

这份清单同样按信息量或清晰度在西方AI生态系统中进行组织。以风险为中心的讨论获得了不成比例的可见度，其中包括一些我认为对跨假定党派界限就这一问题展开接触的潜力极为有害的作品。也几乎没有实质性的接触去试图理解中国公司如何评估风险——相反，大多是近乎人身攻击的论点，比如“中国实验室不在乎安全”。

反开放权重联盟的妄想

“开放权重很危险”阵营最近发布的文章，是Anthropic关于GLM-5.3作为攻击性网络工具的风险报告。问题不在于他们所做的技术研究——这些研究大体上是合理的——而在于未能回应更具交叉性的问题，例如：如果我们因网络风险而禁止开放模型会怎样，或者为什么中国企业认为这些模型可以安全发布？

这些问题我稍后会再谈，而它们正是我们理解当前AI风险生态视角所必须回答的。所有政策行动都发生在一个多块拼图之中，风险的形态可以被改变，但很少能得到 universally 更好的结果。它们全都是取舍。

Anthropic这种唯我论式的写作，与我经常听到的另一种话语——机密简报——高度吻合，而后者正在决定开放模型乃至整个AI的命运。我曾与许多人进行过多次讨论，他们会说类似这样的话：“听着，我是支持开放模型的，但如果你看到我所看到的，就会知道由于[XYZ中国开放权重模型]，外面正面临一场猛攻，我们必须采取行动。”

这种观点与公开信息相悖：迄今为止，已有记录显示闭源模型是大多数现有网络攻击的成因。作为一个试图做出有根据预测的人，来自OpenAI模型的大量攻击证据是我所掌握的关于网络风险形态的唯一数据（或者，你可以把范围扩大到整个FelonyBench）。有几种可能的解释，而要得出真正的答案需要数年时间：

也许开放模型权重和封闭模型API（附带一些安全防护）都远比人们以为的更容易被误用，而不是API模型更接近安全。“开放危险，封闭安全”的说法也许更接近“开放不安全，封闭也不安全”。；也许，愿意利用AI模型对美国关键基础设施或强大却准备不足的机构发动“高调”网络攻击的恶意行为者要少得多。 闭源模型（理论上）具有更强的能力和更强的防护措施，但如果双方的防护措施都存在漏洞，那么“能力更强”这一点在净危害方面可能更为重要；关于网络安全生态系统如何运作，我还有很多东西要学，所以我不会全心全意地将其作为我目前的建议之一来支持，但我认为至少有一个合理的论点：开放权重模型作为一种用于网络防御的扩散工具，可能是我们在未来几年防止危害的最佳工具。在许多领域，例如敏感的政府机构，开放权重模型是短期内唯一可以部署在气隙网络上的工具

这种情况的许多方面似乎都像是难以厘清的混乱现实，而其中的逻辑边界反倒更为清晰。我或许会认同一个简单的现实：从极限情况来看，闭源模型要安全得多，作为一种拥有更多层防护的技术工具，它们实际上可能在短期内造成更大的危害，因为模型 API 的获取门槛太低了。不过，这些工具的大部分影响归根结底取决于它们如何被使用和控制。对如此关键的工具形成双头垄断，或许才是具有决定性、也最具风险的部分。这正是我们正在进行的辩论，而随着时间推移、智能不断扩散，许多事情都可能发生变化。

综合来看，我得出的结论是：如果你认为需要禁止最新的开放权重模型以减缓网络风险的扩散，那你大概也需要把前沿闭源模型的面向公众 API 一并定为非法。目前针对闭源模型的一整套防护措施比开放权重模型更强，但远非完美。闭源模型的网络能力极有可能比防护栏性能提升得快得多，而一个禁止开放模型、同时闭源模型继续进步的世界，将会不断拉大网络攻防差距。如果我们切断对强大开放权重模型的获取渠道，那么要为防御方构建缓解措施、使其能在自己的私有基础设施上使用强大 AI 模型，将需要相当长的时间。

解释中国的 AI 风险姿态

中国关心AI安全。他们是以一种完整的、内生的方式进入这一讨论的，这种方式与中国文化和权力结构相关。这个谜题中有一些宏观层面的部分以其他方式体现出来，例如中国社会的技术乐观主义延伸到了AI领域，以及中国政府对政治稳定的全面关注。当然，这些事物会与网络安全等新兴AI风险相互交织。

他们有着自己的人工智能风险动态，这种动态尚未上升到白宫与前沿实验室之间政治博弈的显著程度——过去几个月我们在美国一直关注着这一博弈。据我了解，中国企业每次发布重大模型都必须向中国政府登记。这包括评估，而评估最初源于对政府禁止信息的管控。目前尚不清楚这一框架是否已实质性地扩展到网络或生物等任何风险领域。中国政府非常分散，实验室的信息需要经过现有结构才能上达最高层。

与此同时，中国社会风险的氛围要强烈得多：顶尖的 AI 研究人员不被允许离开这个国家，而且该行业正在对外国投资关上大门。权衡之下，我猜测，在国内释放任何危害所给人们带来的个人风险，会远高于美国——在美国，最坏的情况也不过是你的公司被删掉。

总体而言，政治监督似乎比美国来得早得多。西方 AI 公司的核心原则接近于“阻止坏人用 AI 作恶的最好办法，就是让好人用 AI 行善”。在中国，这些公司在打造一款出色的工具方面要务实得多，而且在许多情况下，它们打造的是能与自身现有业务互补的工具。

我确实认为这些公司会考虑其工作的全球影响。这些实验室显然也有动机，并且常常被政府推动（至少在公开表态中如此），去尽可能多地竞争。对一个像 Kimi K3 这样的前沿模型进行全面安全评估，可能会花费数千万美元的计算资源。这些实验室更愿意把那些计算资源留给训练。

正确的争论应当是：“在发布每个模型之前，实验室在安全测试上应花费的合理最低算力是多少？” 当然，可以论证这个最低算力应高于中国实验室所做的，或者至少他们应更透明地说明自己做了什么，但如果你说最低算力应与Anthropic或OpenAI所做的相当，我很难同意。尚不清楚的是，尽管Anthropic和OpenAI付出了诸多努力来建立一个优先理解风险的机构，他们是否在优先级排序中将其置于商业价值和经济成功之前。HuggingFace—OpenAI事件等事故中这种“放手不管”的感觉，是我持久的收获之一。OpenAI遭Hacktron黑客攻击一事便是例证——如果你的自家宅邸漏洞百出，就很难成为全球可信的网络伙伴。 我相信实验室里的许多个人会努力工作以确保安全，但我对整体机构并不信任。

四月份开放权重的Mythos本来会没事吗？

当Claude Mythos发布时，它被预告得像是新型网络武器，一旦落入坏人之手就会造成大规模社会动荡。

看来这是错的。

从各方面衡量，GLM-5.3才是跨越那道能力门槛的模型，而几乎没有公开证据表明情况有多大变化，况且模型权重发布已经过去一个多月了。

事实上，我想更进一步。如果 Claude Mythos 被意外以开放权重形式发布，世界似乎大体上也不会有太大问题。是的，网络安全事件会明显增加，模型泄露对社会也不利，但那种情景看起来更像是风险的加速，而非阶跃式变化。

这场新一轮开放权重恐慌的主要鼓吹者实际上一直在做出一个可证伪的预测——当前的开放权重模型将会通过瘫痪我们的网络基础设施，造成前所未有的重大 AI 危害。

根据我掌握的所有证据——我在上文已经详细拆解——他们的预测注定是错的。至少现在，在围绕开放权重风险争论了这么多年之后，我们终于要开始得到一些真正的答案了。

感谢 Rohit Krishnan 和 Joshua Saxe 对本文的反馈。