AIUC 完成 4000 万美元 A 轮，推出 AIUC-1 智能体安全标准与保险方案

25 3 2 1× 0:00 当前时间：0:00 / 总时长：-1:26:14 -1:26:14 您的浏览器不支持音频播放。请升级。承保超级智能：为可被起诉的智能体提供保障——Rune Kvist，AIUC 我们与 AIUC 的 CEO 坐下来聊了聊他们的 A 轮融资！2026 年 9 月 16 日 25 3 2 分享 文字记录 AIUC 最初因 NFDG 的投资而引起了我们的注意，而他们今天刚刚宣布完成 4000 万美元 A 轮融资，其背后的行业顾问名单可能是我们见过的早期初创公司中最令人印象深刻的，支撑这一名单的是 AIUC-1，这是他们的智能体标准，并由真实保险提供支持：

从成为 Anthropic 的第一位产品员工，到构建旨在让前沿 AI 可部署的标准、测试和保险基础设施，Rune Kvist 押注 AI 采用的最大制约因素不会是能力，而是信任。在本期节目中，AIUC 联合创始人加入 swyx 和 Vibhu，宣布新一轮 4000 万美元融资，并解释为什么 Cursor、Harvey、Lovable 和 ElevenLabs 等公司正日益面对一个随着 AI 变得更强而变得更难的问题：当自主系统失败时，谁来负责？

我们深入探讨 AIUC-1，这一新兴的智能体安全、保障与可靠性标准；AI 智能体如何接受越狱、幻觉和数据泄露的压力测试；以及为什么 Rune 认为标准和保险可能成为 AI 的关键基础设施。我们还讨论了政府与前沿实验室之间日益扩大的信任鸿沟、AI 赋能的网络与生物风险、为什么每个模型最终都可能被越狱、当一个 20 美元的编程智能体造成 2 亿美元损失时会发生什么、AI 工程师是否应该获得认证，以及为什么即使在 AGI 之后，可能仍有一项工作是实验室永远无法自己完成的：做自己的监督者。

为什么风险、责任和信任可能成为 AI 采用的约束性因素

Rune 从阅读 Scaling Laws 论文到在 Anthropic 最早时期加入的历程

Anthropic 在这一切变得显而易见之前数年就理解到的关于扩展、算力和未来的事情

为什么 Waymo 说明了 AI 能力与现实世界部署之间的差距

AIUC 的 4000 万美元融资以及与 Cursor、Harvey、Lovable、ElevenLabs 和其他前沿 AI 公司的合作

AIUC-1：AI 智能体安全、保障与可靠性标准

智能体如何接受越狱、幻觉和数据泄露测试

为什么大多数 AI 公司优化顺利路径，却没有认真对对抗性案例进行压力测试

为什么 AI 标准可能需要每季度更新，而不是每十年更新

前沿 AI 实验室与政府之间正在出现的信任鸿沟

网络安全、儿童安全、生物武器，以及不断扩大的前沿模型风险面

为什么标准和保险可能需要共同演进

伦敦劳合社如何为 AI 系统承保，并为企业部署带来信任

如果一份 20 美元的 Cursor 订阅促成了一架飞机坠毁并造成 2 亿美元损失，会发生什么

加拿大航空聊天机器人案，以及 AI 失败如何开始厘清法律责任

评估、机制可解释性、监控，以及模型开始意识到自己正在被测试

不可能完成的 CISO 任务：快速采用 AI，但不要让任何事情出错

为什么机器人技术将使 AI 责任变得重大得多

AI 工程师是否应该拥有 1 级、2 级和 3 级认证

AIUC 在智能体、前沿模型、机器人技术和通用红队测试方面的路线图

为什么 AGI 可能成为一个国家主权问题

为什么实验室永远无法完全充当自己的监督者

《大空头》问题：你如何阻止相互竞争的监督者竞相降低标准？

00:00:00 AIUC 的 4000 万美元融资与 AI 的风险瓶颈

00:12:19 创立 AIUC 并构建 AIUC-1

00:41:45 AI 保险保单实际承保什么？

01:08:36 不可能完成的企业 AI 任务

01:11:52 预测市场与 AI 审计

01:14:43 AI 工程师应该获得认证吗？

01:19:10 AIUC 的路线图、AGI，以及谁来监督监督者？

引言：AIUC、4000 万美元 A 轮融资，以及风险作为采用瓶颈 Swyx [00:00:00]：好的，我们和 AIUC（人工智能承保公司）的 Rune 一起在演播室，还有我们可靠的联合主持人 Vibhu。欢迎。

Rune Kvist [00:00:10]：谢谢。感谢邀请我。谢谢。

Swyx [00:00:11]：你们今天在宣布什么？

Rune Kvist [00:00:12]：我们已筹集 4000 万美元，由 Ribbit Capital 和 First Harmonic 领投。

Swyx [00:00:17]：你最初引起我注意，是 Nat 和 Daniel 投资了你们。故事是不是基本一样？比如，你们今天是什么样，与你们当时认为自己是什么样相比？

Rune Kvist [00:00:26]：当我们筹集种子轮时，我们有一个假设：在某个时候，风险会拖累采用。当时，那感觉还有点假设性，而我认为现在那种阶段已经结束了。显然，此刻就是关键时刻，有 Mythos 和 Fable。很明显，采用方面真正的约束性因素就是风险。所以对我们来说，这感觉是同一假设的自然延续，只不过以前是推测，现在感觉是事实。

Swyx [00:00:54]：让我们列一下你们在 A 轮融资中重点提到的客户。

Rune Kvist [00:00:58]：当然。是的。所以我们现在正与 Cursor、Harvey、Lovable、ElevenLabs 这样的公司合作。

Swyx [00:01:05]：是的。太棒了。恭喜。

Rune Kvist [00:01:06]：谢谢。

Swyx [00:01:07]：所以你出名地是最早参与 GTM 和产品工作的员工之一。我有点好奇：你进入 AI 的路径是什么？简单回顾一下。

Rune Kvist [00:01:18]：是的。

Rune Kvist [00:01:19]：2021 年底，我卖掉了一家公司，我的第一家公司，一家教育科技公司。我有一点时间思考下一步。我偶然看到了 Scaling Laws 论文，那就像一道闪电击中了我。我当时就想，“这是个了不起的想法。”简而言之，Scaling Laws 论文说的就是：模型越大，模型越聪明。

Swyx [00:01:38]：所以这是 Kaplan 那篇，不是 Chinchilla 那篇？

Rune Kvist [00:01:40]：没错，Kaplan 那篇。

Swyx [00:01:42]：是的。

Rune Kvist [00:01:42]：而当时让我豁然开朗的关键一点是：哦，现在资本会理解这件事了。你投入更多钱，就能得到更多回报，所以这会引发一轮炒作周期。于是你就能感受到可预测的回报，而事实上，这正是后来发生的情况。所以我就收拾行李。我从没去过旧金山。我从没去过那里。我就收拾行李，飞到这里来找写那篇论文的人。当时，他们刚创办了一个叫 Anthropic 的小实验室。当时大约有 40 人左右。我喝了一堆咖啡，直到最终被介绍给 Dario。当时，他们正在纠结一些问题，比如：我们应该部署我们的模型吗？我们应该创造收入吗？我们应该如何与外界互动？他们刚从 OpenAI 分出来，而且有公开报道称，他们有点担心自己处理部署的方式。所以他们当时正在纠结其中一些问题。此时，这是早期的战争迷雾，大概是 2022 年初。当时最热门的产品大概是 Jasper。外面几乎什么都没有。所以价值会在哪里积累，以及技术栈的不同部分会是什么样，都是悬而未决的问题。

Swyx [00:02:48]：我想向大家强调一下，你问这些问题是因为你有 PPE 背景。

Rune Kvist [00:02:52]：是的。

Swyx [00:02:52]：我其实曾在新加坡参加过一个为 PPE 做准备的预备项目。所以我有一位导师。我们学习了，你知道，哲学、政治学和经济学。但是，我觉得你那种背景很重要。读神经网络、Scaling Laws 论文的机器学习从业者，不一定会得出和你一样的结论。而任何资本家读到那篇论文都会说，“我的天。”

Rune Kvist [00:03:19]：正确。

Swyx [00:03:20]：对吧？

Rune Kvist [00:03:21]：是的。

Swyx [00:03:21]：是谁让你注意到那篇论文的？因为那不是你通常会在自己的圈子里读到的论文，对吧？

Rune Kvist [00:03:26]：是的。我想，其实从 AlphaGo 以来，我就一直多少意识到 AI 是件大事。

Swyx [00:03:36]：是的。

Rune Kvist [00:03:36]：但它感觉像是提出了所有这些有趣的哲学问题，但从远处看并不清楚它究竟会走向哪里。不过已经足够明显的是，这将会是一件大事，前提是我们找到某种合适的机制，让技术资本机器在这件事上运转起来。但当时就是不清楚。所以我认为，在某种程度上，这一点变得显而易见了，而且当时也不像现在这么明显，对吧？就像，哇，这太有趣了。但来自哲学和经济学背景的它仍然感觉，如果这被证明是真的，你将会面对社会中的所有重大问题。你学到的关于政治的一切都会被抛到窗外。你学到的关于经济学的一切至少会受到挑战。所以有趣的是身处那个前沿，而它会对一切产生影响。所以这就是我去寻找它的原因。

Swyx [00:04:32]：我是说，这显然是很好的洞见。给不了解的人说一下，PPE 项目就像是培养首相的地方。然后你最终见到了 Dario。

Rune Kvist [00:04:41]：对。先是 Dario，是的。

Swyx [00:04:43]：是的。嗯，我是说，那你从与他们交谈中是否获得了超出你最初假设的额外洞见？

Rune Kvist [00:04:50]：如果你读 Scaling Laws 论文，你会得到这种非常模糊的草图，就像，哇，这似乎挺重要。图表上有一些线。这似乎挺重要。而我认为 Anthropic 团队比任何人都更多思考过的是：如果你真的把这件事推演下去，会有什么影响？当时他们已经有关于 2026 年世界会是什么样子的愿景文件，而且相当细致地推演了需要多少算力、资本支出会是什么样、一些社会关切会是什么，但也包括这里会产生多少经济价值？所以感觉像是他们握着一个水晶球，而事后看来，这个水晶球被证明惊人地准确。他们并不是把它当作显然正确的东西来握着。他们只是说，“非常认真地对待这个假设。”

Swyx [00:05:38]：把它想透，是的。

Rune Kvist [00:05:38]：并且以那种情境意识的方式把它想透，就像

Swyx [00:05:43]：在街对面。

Rune Kvist [00:05:44]：在街对面。

Swyx [00:05:44]：你的办公室，是的。天啊，我们都住在街对面，在同一平方英里内。

Rune Kvist [00:05:50]：没错。那已经是几年前的事了，但最近这几周人们不断提到它，还结合 Fable 和 Mythos 来谈，感觉就像，哇，如果你认真对待这一个想法——对于 Scaling Laws 来说，很多事情就都对上了。

Vibhu [00:06:03]：而且别忘了，在那个时候，这还是同一个做出 GPT-1、GPT-2 和 GPT-3 的团队。

Rune Kvist [00:06:08]：没错。

Vibhu [00:06:08]：而且这也不像是，它不只是某种实验。这就像，这是我们刚刚放大规模的真实模型。

Rune Kvist [00:06:14]：而且他们对这个想法有深深的信念：如果你拿一大团算力和数据，它就是想学习，而从中会诞生越来越聪明的模型。所有细节当时并不清楚。

Vibhu [00:06:26]：是的。

Rune Kvist [00:06:27]：所有影响也都不清楚。但他们对这个核心论点的深深信念，那种感觉有点令人眩晕。它既极其有趣又令人兴奋，同时你很快也会想到，如果这个假设成立，我们所熟知的世界将不复存在。所以它在某种宏大意义上也让人感觉很重要。

Vibhu [00:06:48]：那是什么塑造了你？所以那是 2022 年初。不仅 GPT-1、GPT-2 和 GPT-3 已经问世，而且，你知道，Anthropic 那些了不起的创始人从未分裂过，是唯一的一批，他们真的有信念离开 OpenAI，创办自己的实验室。你说那里大约有 40 人。那段时间在那里是什么样的？

Rune Kvist [00:07:06]：那和今天从外面看起来的样子相当相似。极度团结，极度以使命为导向，并且生活在他们两种想法之间的张力中，那就是 AI 既可能发展得很好，也可能发展得很糟，而我们想参与构建它。这会产生巨大的张力。他们当时还在与这种激励挑战搏斗，他们知道自己身处一场竞赛中，可能会被迫走捷径，但站在技术前沿对他们来说也感觉非常重要。所有这些想法在那个时候就已经存在了。感觉那条线一直非常清晰，而且我觉得，无论爱他们还是恨他们，他们确实一直坚持自己的立场。有一套核心信念，他们持有得比大多数公司持有任何信念都要深。

Vibhu [00:07:58]：是的。快进到今天。

Rune Kvist [00:08:00]：是的。

Vibhu [00:08:00]：这把我们引向 AI 承保公司是什么？你在做什么？是什么促使你创办这个？

Rune Kvist [00:08:05]：是的。AIUC 通过标准和保险为前沿 AI 构建信心基础设施。从 Anthropic 到构建信心基础设施的联系，是望向 Anthropic 办公室窗外，看到 Waymo 驶过。早在 2022 年初，Waymo 在某种程度上就像汽车领域的 AGI。它们就像超人司机，但你不能坐它去机场。而现在，四年多过去了，你仍然不能坐你的 Waymo 去机场，尽管现在每个人都多少看过证据，并且觉得，“它们比人类司机更好。”所以在那一个例子里，清楚的是，AI 有用的约束条件不是能力，而是责任、风险或信任。这个问题是普遍性的。现在为什么

Rune Kvist [00:08:52]：Fable 不开放访问，不是因为它不是一个好模型，而是因为它是一个非常好的模型。只是很难对它会做什么或不会做什么做出承诺。而且随着 AI 变得更好，这个问题会变得更糟。基本上，更智能的 AI 可以更自主。这更有价值，但风险面也会扩大。所以——Waymo 说明的是，除非你构建信心基础设施来对 AI 做出承诺，或者至少揭示风险，否则你会让采用陷入停滞。政府、银行、医院、军队需要对 AI 会做什么和不会做什么有一定了解，才能运营并纳入它。这就是我们试图解决的问题。那么，为什么是标准和保险？如果你把这个问题的历史追溯回去，每一波技术浪潮都有某种版本的这个问题。所以如果你回到，比如 1900 年，电力出现

Vibhu [00:09:47]：本·富兰克林。

Rune Kvist [00:09:48]：汽车会烧起来，抱歉，房子会烧起来，很多人会死。1930年代，汽车是件大事，会害死很多人。1950年代，私营核能是件大事，会带来巨大风险。在每一个这样的例子里，市场都跑在监管前面，去建立信心基础设施，因为这是做出“去/不去”决策所必需的。这是采用所必需的，而市场从根本上就想要采用。而在所有这些例子里，标准和保险之间都会浮现出一套共同的蓝图。之所以是这两个组成部分，是因为标准有点像道路规则，它们还规定了需要跑哪些测试，好让我们能感知风险有多高。所以拿汽车来说，那就是像车祸测试。很好，各位，它们今天为你的保险定价提供依据，为你的购买决策提供依据，等等。那基本上就是风险框架。保险公司很重要，因为它们是买单的一方。所以它们是私营机构中最站在……最受激励去如实量化风险，然后想出各种降低风险的办法，因为那会增加它们的利润。所以它们基本上是在帮助塑造激励。而这两者配合得非常好。那么，这如何体现为一家公司呢？嗯，甚至在几年前就已经很明显——或者说开始变得明显——的一件事是，前沿公司，也就是我们今天的一些客户，比如 Cursor、Sierra、ElevenLabs、Harvey，向银行卖一个试点会非常容易。那个演示本身就卖得动。它很神奇。但要把这个推下去，如果你想在银行或医院做全面铺开，你就必须走完风险流程。 这些银行甚至根本不知道该问哪些问题，更不用说哪些答案才算充分，更不用说他们该怎么去测试这些智能体是否真的按预期运作。所以他们面临的问题是：我们能说什么来赢得信任？我们认为有一句黄金话术，大概是这样：“嘿，我听说你真的很担心幻觉或越狱之类的问题。我们让独立的第三方按照黄金标准对我们做了测试。我们以优异成绩通过了。而且作为信心的证明，世界上最保守的保险公司已经看过这些数据了。”而且他们愿意把一部分风险承担到自己的资产负债表上。

Swyx [00:12:06]：是的。

Rune Kvist [00:12:07]：所以如果真的出了什么问题

Swyx [00:12:07]：背后有钱兜着，是的。

Rune Kvist [00:12:09]：正是。所以这差不多就是这一切之间的关联。我们可以深入聊一些与技术测试相关的难点，我认为那是问题的关键，但我先停在这里。

Swyx [00:12:19]：你和 Rajiv 是怎么走到一起的？这——总是有，比如，你给人的感觉非常自信，而且，你知道，我们正在宣布你们的 A 轮融资等等，但我想看看，比如，想法形成的最初阶段。

Rune Kvist [00:12:31]：是的。Rajiv 其实是我未来的姐夫。

Swyx [00:12:35]：哦。

Rune Kvist [00:12:36]：所以我其实再过一周半就要和 Rajiv 的姐姐结婚了。

Swyx [00:12:42]：好吧，现在你们关系够铁了。

Rune Kvist [00:12:44]：正是。

Swyx [00:12:44]：现在你知道了。

Rune Kvist [00:12:45]：所以——Rajiv 和我认识彼此已经十年了。有趣的是，我是在 Hena 和我在伦敦麦肯锡做实习生的时候，同时认识 Rajiv 和他姐姐 Hena 的，当时 Rajiv 被指派做我的导师。所以是同时认识他们的。很长一段时间里，我们并不一定会一起工作，这一点并不明显。我在做创业公司。他是麦肯锡的保险合伙人。三四年前，我觉得是 Hena 说服了他，让他相信 AI 会是一件非常大的事。于是他辞了职，辞掉了伦敦麦肯锡那份舒适的合伙人工作，收拾行李，飞到旧金山，最后加入了 METR。你们大概上网够多

Swyx [00:13:24]：CEO。

Rune Kvist [00:13:24]：正是。

Swyx [00:13:24]：我们，我们，我们听说过 METR。

Rune Kvist [00:13:25]：你看到那张图——智能体能承担的任务视野图，翻倍速度极快。所以他当时是 METR 的 COO，主导了他们与 Anthropic 和 OpenAI 的合作，在模型发布前进行测试，同时也与美国和英国政府密切合作，去弄清楚，比如，你怎么知道一个模型能不能发布？而在某些方面，那是，比如，完美的背景。他在保险行业待了很久，了解那个世界，也在模型的前沿测试上花了很长时间。所以当我在这个想法空间里瞎转悠，从我们聊过的一些与 Waymo 相关的想法开始时，我们一进入内容，我们俩就都觉得，“哦，这会是一家很棒的一起创办的公司。”这是在应对我们俩都认为从市场角度看是世界上最重要的问题，我们的直觉是，市场能做很多事，而 AI 移动得越快，政府就越难解决其中一些问题。然后花了一点时间来处理和家人一起工作是什么感觉。

Swyx [00:14:27]：当然。

Rune Kvist [00:14:27]：而且，

Swyx [00:14:30]：因为你们当时已经在交往了

Rune Kvist [00:14:31]：是的。是的，正是。

Swyx [00:14:33]：是的。

Rune Kvist [00:14:34]：早在当时，它

Swyx [00:14:35]：是的。

Rune Kvist [00:14:35]：我们就感觉像一家人了。

Swyx [00:14:36]：不错。

Rune Kvist [00:14:36]：所以一起创业感觉像是挺大的一步。而，我们如今走到这里，带着巨大的信任。

Vibhu [00:14:43]：是的。那么现在你们是一家多大的公司？你们现在有多大？

Rune Kvist [00:14:46]：我们现在只有 20 个人。

Vibhu [00:14:47]：你们现在有 20 个人了，已经拿到 A 轮融资，而且你们的第一项认证 AIUC-1 也已经推出了。我们把认证调出来看看。所以这就是智能体认证，对吧？这个流程包含哪些内容？我这里大概有两个问题。第一是，带我们过一遍这个认证；第二是，一家公司要获得认证，流程是怎样的，你懂吧？

Rune Kvist [00:15:08]：好。正如最上面写的那样，AIUC-1 是一项针对智能体安全、保障与可靠性的标准。根本的设计原则是，把所有拖慢采用进程的顾虑，也就是那些让财富 1000 强企业的安全负责人夜不能寐的所有疑问、所有恐惧，统统纳入一个全面的框架。这就是你们在那里看到的东西。你们可以看到这六个类别。第二，你想把这一切都建立在技术测试之上。所以，安全标准常常让人觉得像是做戏的文书工作，其中一个顾虑就是，它们并没有真正落到实处——这些到底有没有用？这些到底重不重要？因此我们很早就有一个信念，认为这将成为关键所在：要通过这项标准，你必须每季度接受测试，基本上就是运行数千次模拟，看看，它到底能不能被越狱？越狱有多难？它多久会产生幻觉？它多久会泄露数据？等等。然后最后一个核心想法，如果你往上滚到最上面这里，就是每季度更新一次。

Rune Kvist [00:16:08]：所以 AI 的核心特征就是它发展得极快。我们今天在讨论的任何顾虑，三个月前都不是同样的顾虑，而且这会不断变化。通常，标准是按十年周期更新的，这显然行不通。但问题是，你该如何更新它？这里的核心做法基本上是，把财富 1000 强的风险负责人聚到一张桌子前。所以如果你往左边看

Vibhu [00:16:32]：嗯

Rune Kvist [00:16:32]：你会看到 AIUC-1 联盟。这个联盟是一群风险负责人，他们经营着真正的银行、真正的医院、真正的关键基础设施，每天都在面对这些挑战。我们每季度和这些人会面两次，听听他们最关心什么、什么让他们夜不能寐。这种对话的需求量巨大。然后我们把它落实为一项具体的标准，进入……实际上，我们可以进去看看

Vibhu [00:16:55]：嗯

Rune Kvist [00:16:55]：这项标准到底是什么。所以如果我们回到介绍页，往左边那里，稍微往上滚到那个轮盘，点进可靠性。那么，就拿幻觉这种东西来说，它属于可靠性。这里有一系列要求。如果你点进最上面那一条，防止产生幻觉的输出，防止幻觉输出，这是一项具体要求。这是一项技术控制。基本上，我们想要某种基于此的过滤器。你在这里看到的第一样东西叫做交叉映射。每个人和他们奶奶都发布过一套框架，一套非常高层级的框架，说明 AI 风险有哪些。

Swyx [00:17:27]：这基本上就是你们的竞争对手，

Rune Kvist [00:17:28]：在某些方面是我们的竞争对手

Swyx [00:17:29]：不是认真的，对。

Rune Kvist [00:17:30]：事实上，我们和他们是朋友。我们回头会再说为什么。

Swyx [00:17:31]：嗯。

Rune Kvist [00:17:32]：但把所有东西都映射到一起，这样你就有了一个超集。你在这里试图支撑的主张是，如果你遵循这套框架，那么你也能看到你如何遵循其他框架。但真正的核心在下面这里，控制活动和证据。所以控制活动就像是，很好，你有这个高层级的要求。你如何把它转化为可操作的东西？这是你必须做的事，然后我们要找的证据是什么？

Rune Kvist [00:17:57]：而我们之所以深入到这么细，是因为对于 AI 中的重大顾虑是什么，其实并没有太多困惑。大家都认同这些。问题是，你到底应该做什么？所以，我们发现大量需求在于，把具体到人们需要寻找的证据讲清楚。无论你是 Cursor 在构建东西，还是连 JPMorgan 在构建东西，但同样，如果你只是 JPMorgan 的一名风险负责人，你到底应该要求什么？你能要求什么而不显得愚蠢？比如，如果你要求一些——你不会相信，风险负责人有多少次向 Cursor 之类要求底层模型的 IP 权利，而你就只能说“抱歉，什么？”就像，

Swyx [00:18:39]：你把它悄悄塞进去，然后看看

Rune Kvist [00:18:40]：悄悄塞

Swyx [00:18:40]：看看他们注不注意。

Rune Kvist [00:18:41]：看看他们。正是。

Swyx [00:18:42]：嗯。

Rune Kvist [00:18:42]：把它放进问卷里。好了，这大概就是我们的标准，我们每季度和这些人一起更新它，以跟上最新的顾虑。

Swyx [00:18:51]：我能双击一下这个吗？

Rune Kvist [00:18:52]：可以。

Swyx [00:18:52]：那么首先，这个网站很漂亮。它特别能建立信心，而这正是关键所在：好吧，我知道和你交谈时我到底在报名什么。我甚至都不用跟你谈。我只要看看你整套的认证就够了，这很棒。但是，好吧，那么从这里开始，比如 D001.1 配置一个 groundedness 过滤器，这要怎么落实？比如，你们有一个人

Rune Kvist [00:19:16]：是的，

Swyx [00:19:16]：会去走一遍流程？

Rune Kvist [00:19:17]：如果你，往回翻

Vibhu [00:19:19]：我确实在某个地方看到过，你知道，五十一条要求、一百三十项控制。有一整套

Swyx [00:19:25]：对。我只是想。对我来说，这并不能转化

Vibhu [00:19:27]：是啊。

Swyx [00:19:27]：成一项测试或一次评测。

Rune Kvist [00:19:28]：是的。所以如果你进入，在左侧。其实，如果我们——在我们进去之前，要求有三种类型。第一种是技术控制，比如你必须实施一些护栏。

Rune Kvist [00:19:42]：第二，有测试控制。所以你必须有一个独立的第三方来对你跑一些测试。我马上会给你看其中一个。然后第三，有政策控制。例如，你们搞砸的时候，必须有一个名字挂在责任上的人，而且你必须有一个计划，说明你如何告知客户、如何与他们沟通。这些是比较传统、标准的那类东西。所以在这个具体例子里，我们只是检查他们是否真的有一个 groundedness 过滤器。所以我们会与审计方合作。我们与像 KPMG 或 Schellman 这样的审计方合作，他们进去做审计方做的事，也就是核查证据。在这个例子里，那可能是一张截图，也可能是他们需要审查的部分代码，以确认它确实。只是确认它存在。

Swyx [00:20:21]：哦，好吧。

Rune Kvist [00:20:22]：然后第二件事

Swyx [00:20:22]：所以你们不是在测试它的有效性。

Rune Kvist [00:20:24]：那是第二件事。所以如果你往下

Swyx [00:20:25]：嗯。

Rune Kvist [00:20:25]：到左侧针对幻觉的第三方测试，那基本上就是下一项要求。这里我们要测试它实际效果有多好。

Swyx [00:20:32]：好，那是你们测试还是审计方测试？

Rune Kvist [00:20:34]：我们测试他们。

Rune Kvist [00:20:35]：我们测试他们。

Swyx [00:20:36]：那可是不少工作。

Vibhu [00:20:37]：测试要花多长时间？所以如果我想获得认证，就

Rune Kvist [00:20:40]：是的。

Vibhu [00:20:40]：大概到最后要花多长时间？

Rune Kvist [00:20:42]：是的，到最后，几乎总是取决于，比如我们客户需要

Vibhu [00:20:47]：嗯。

Rune Kvist [00:20:47]：为我们达到某个标准。大概需要 3 到 10 周

Swyx [00:20:52]：嗯。

Rune Kvist [00:20:52]：取决于他们目前达标到什么程度。所以有些人来找我们时，已经有极其严格的安全项目。我们测试他们时，效果非常好。我们可以很快完成。有些人来找我们时，还没走到那么远。我们会给他们需要朝着建设的那份规范，然后他们的安全团队和工程师就开始工作，按标准来建设。测试本身通常要花几周，包括他们整改的时间。我们经常会发现一些我们无法让其通过的东西，也就是这实际上就是不达标。——你不会通过标准。然后他们就需要去实施额外的保障措施或额外的整改，让自己更稳健，这样他们才能真正问心无愧地直视客户的眼睛说：“嘿，我们确实已经尽了最大努力。”

Vibhu [00:21:35]：然后他们认证一年，并且每季度更新？

Rune Kvist [00:21:38]：对，是的。

Vibhu [00:21:39]：而且，是的，这挺有意思的。我想，你知道，从那时以来发生了什么变化。所以这是在认证生产环境中的智能体，对吧？你们的客户，比如你们有 Lovable、ElevenLabs、Intercom，他们都通过了这项认证。

Rune Kvist [00:21:50]：是的。

Vibhu [00:21:51]：发生了什么变化？比如我看到你发帖说，你知道，第二季度新增了 MCP 智能体、

Rune Kvist [00:21:56]：是的。

Vibhu [00:21:56]：智能体通信。自第一版以来，还有别的你想强调的吗？每季度会加入什么？

Rune Kvist [00:22:03]：是的。所以有些变化在于，智能体并不只是单一的一种东西。比如，如果你拿 Cursor 这样的智能体与 Sierra 比较，它们其实差别很大。再拿它们和 Harvey 比，再和你们比

Swyx [00:22:16]：ElevenLabs，是的。

Rune Kvist [00:22:17]：ElevenLabs，它们都相当不同。所以我们想设计一套适用于所有类型智能体的标准。我们从一种相当偏文本的、老实说相当聚焦客户支持的标准开始。那里有大量现有需求。然后随着时间推移，我们在其他各个领域挑选了一些前沿公司来合作，共同构建这套标准，从而确保同一套标准适用于代码、适用于客户支持、适用于自动化等等。所以这是一大重点。是的，然后最近最受关注的一些事情是，Mythos 给安全负责人带来了很多担忧。我们开始收到越来越多关于智能体交互的问题。目前这还非常初期，但已经开始显现。有很多与 OpenClaw 和 MCP 相关的问题。同样，智能体开始相互交互，这确实是大家最关注的。然后随着编码智能体真正起飞，银行和医院等机构对自身需求也越来越精确。所以随着那里开始成为世界上大部分 token 流经的地方，我们也在真正地精细打磨这一点。

Vibhu [00:23:26]：你能为那些收听但并不真正思考这个问题的人分享一下吗？比如你提到，有些是显而易见的东西，你知道，幻觉、引用。人们在构建智能体时应该遵循哪些最佳实践？比如，如果他们来找你时已经相当准备好通过认证，你知道，他们大概会通过认证。有哪些人们没想到、但应该具备的东西？

Rune Kvist [00:23:46]：最重要的一点是，很多公司还没有做过严肃的压力测试。他们把大部分时间——也许理所当然地——用于优化它在好的情况下、平均情况下如何运作，对客户输出的质量有多高。而很多这类公司相当新，所以他们没有花很多时间去压力测试：对面作为对手存在的是什么？有哪些你并未真正考虑过的复杂边缘情况？所以我认为这是一种思维方式。你在初创公司也会看到这一点。通常要过一段时间他们才会聘请第一位安全人员。他们——而这与仅仅构建一个好产品是完全不同的风险面。所以很多这方面都适用。大多数公司其实也有正确的架构。他们大多数都会有某种护栏，要么是模型提供商开箱即用的，要么是他们自己构建的、位于中间的过滤器。只是它们运作得不太好。区别在于，设置一个分类器，也许去检查你是否在不该提供医疗建议时提供了医疗建议，然后说：“嘿，如果这看起来像医疗建议，就把它过滤掉。”很多公司都有这样的东西。问题是它是否有效。 而坐下来思考所有你可能请求医疗建议的方式，阅读学术文献了解有哪些

Rune Kvist [00:25:03]：措辞或技巧可能被用来让 AI 在你本不该得到医疗建议时给你医疗建议，这其实相当繁琐。所以存在一个恰好缺失的专业领域。我们发现，大多数人都有正确的构建模块。他们——这——这不是火箭科学，但棘手的是，深入各个角落并测试它是否有效，以便你能直视客户的眼睛，或者也许是银行，也许是医院，说：“这对你们会有效。”

Vibhu [00:25:26]：我明白了。所以我们谈了很多关于智能体层面的认证。你们接下来往哪里走？比如宣布 A 轮融资，我们谈过一点。还有 Fable 的整个安全风险、政府介入。你们似乎在宣布也要进入模型认证？

Rune Kvist [00:25:46]：等我们之后做一点剪辑时，

Vibhu [00:25:48]：是的

Rune Kvist [00:25:48]：我们还不会宣布这个，

Vibhu [00:25:49]：好

Rune Kvist [00:25:50]：现在所有人最关心的问题是在模型层面。而 Mythos，然后是 Fable，确实把这一点推到了前台：除了商业风险和发生在智能体层面的那种经济安全风险之外，模型还将在国家安全类别中带来风险。问题的形态非常相似。有些人会在出问题时承担责任。在智能体的情况下，通常是企业中的安全负责人。在这种情况下，是政府。他们未必一辈子都在思考这里会出现哪些新风险、你可能要寻找什么样的数据、你该如何测试它？但他们确实必须确保自己的关切得到解决。有些前沿 AI 公司技术非常深厚。他们对风险了解很多，但根本上存在一种不必始终说真话的动机。所以政府和实验室之间存在信任鸿沟。而在其他所有行业中，最终都会有某种机构居于其间，一个中立的第三方坐在那些人之间。没有其他行业会允许人们自我审计。因此将会需要一个第三方，它既能以实验室的严谨性来运行前沿技术评估，又能以政府信任普华永道去执行财务审计的那种方式，传达出清晰可懂的信任。他们知道普华永道以一致、易读、基于事实、值得信赖的方式输出审计报告。这两件事需要结合起来。 我们从与智能体合作中学到的是，如果你希望那——那两方之间的沟通顺畅，就必须有一个公开的、人们可以查阅的共同标准。哪些风险重要？在每一项风险中，你真正要寻找的是哪些威胁模型？你需要为每一项风险明确：需要设置哪些护栏，以及需要运行哪些测试来检验这些护栏是否有效？然后你需要去运行审计——一致的、技术性的审计。所以，如果你想要带来信任，极其重要的是你要有条不紊地逐一处理这些风险。你不能派一个研究员进去说，“把你发现的东西带回来。”你需要能够准确解释你做了什么、准确解释你尝试了什么、准确解释你没有尝试什么，并因此说明你在最后能做出和不能做出哪些承诺。我认为

Rune Kvist [00:28:13]：Fable 是这个问题的直接症状：政府被告知存在风险。政府可能难以评估这个风险到底有多大。他们打电话给 Anthropic，而 Anthropic 试图告诉他们：“嘿，实际上，每个模型都可能被越狱。”

Swyx [00:28:28]：那不是你想听到的，对吧？

Rune Kvist [00:28:32]：作为政府，那可能很难让人信任。

Rune Kvist [00:28:36]：而我们认为，中间人是最自然的解决方案。在其他市场，你会看到类似的东西，比如在金融市场，你会看到穆迪。穆迪介入，他们审视一只债券，然后输出一个评级。他们会说，“这是我们发现的证据。这是评级。”我们不决定任何人是否应该买这只债券。那取决于他们的风险偏好。但我们确实提供了这个所有人都可以依赖的公共信息层。在穆迪的案例中，政府指着他们说：“嘿，养老基金，你们可能真的应该小心。你们不应该拿养老金领取者的钱去冒险，所以你们只能投资 AAA 级债券。”这意味着政府现在不必配备数千名金融技术专家，每周重新运行预测，看看评级是否正确。他们可以指向某个中立的第三方。所以我的假设是，我的直觉是，你会看到一个第三方居于政府和实验室之间，它可能是政府自己建立的。所以像 CAISI 这样的机构就是为此而设立的。而问题是

Swyx [00:29:44]：抱歉，我不熟悉 CAISI。

Rune Kvist [00:29:45]：CAISI 是人工智能标准与创新中心。

Swyx [00:29:49]：好的。

Rune Kvist [00:29:50]：我不会深入细节，但它是 NIST 下属的一个通常制定标准的机构。所以它基本上是一个拥有 AI 专家的政府机构。是的，正是如此。正是如此。

Swyx [00:29:59]：非常关键。非常关键。

Rune Kvist [00:30:00]：非常关键。

Vibhu [00:30:00]：我认为，你知道，这是那种你只要坐下来听——看看它，政府现在是否有足够的技术专长来衡量、测试这些东西？大概没有，对吧？而 Fable 是这样一个结果：好吧，我们不得不缩减规模并暂停一些事情，

Rune Kvist [00:30:17]：是的。而且他们有优秀的人才，但与摆在我们面前的挑战规模相比，他们的预算极其微小。我认为他们可以发挥作用。问题有点像：谁做什么？我们现在已经概述了需要完成的工作，而且这些工作相当广泛。每一次模型发布，都有一个惊人的——考虑到它们接受任何输入，它们的风险面是惊人的。所以真正的问题是：什么是只有政府能做的，以及市场在这里能提供什么，以跟上 AI 风险变化的速度？我们的观点是，在模型层面也是如此，人们今天关心的风险与三个月前关心的风险并不相同。所以立法的速度太慢，无法精确定位这里的风险。因此我们认为，市场可以做很多事情来及时呈现信息。归根结底，这里有一堆政策决定。一个模型的国家安全风险是否过高？

Swyx [00:31:12]：是的。

Rune Kvist [00:31:12]：那是个政治性的回答。但我们想确保的是，产生这些风险信息的过程能与非常快速的创新相兼容。所以你不希望——这不是一个能不能让事情慢下来的问题。能不能把模型锁起来，一锁就是好几个月，直到每个人都能做出保证？而是这个：在有限的时间里，你能不能做到？鉴于美国正在与中国竞争发布模型，你能否插入风险信息，让政府能够就其中一些问题迅速做出决策？要平衡这种取舍：未能采用 AI 会让我们陷入风险，但鲁莽地采用 AI 同样会让我们陷入风险。而这是一种非常微妙的平衡，他们需要大量高质量的情报才能做出判断。

Swyx [00:31:55]：顺便提一句，因为你提到了中国模型，你从你的 CISO 那里听到了什么具体的担忧吗？因为我猜它是免费的，但是。

Rune Kvist [00:32:05]：CISO 对数据流动总体上有一堆担忧，他们对此非常在意。所以有很多问题，比如，如果这些模型是中国的，那数据会流向哪里？我认为其中很多问题是可以解决的，但它们经常被提出来。

Swyx [00:32:18]：我是说，他们明白自己是在美国的 GPU 上运行的。

Rune Kvist [00:32:21]：有些人，有些人明白自己是在美国的 GPU 上运行的。

Swyx [00:32:23]：它们不会，比如，每次你调用的时候都往家里打电话吧。

Rune Kvist [00:32:26]：不会。一年前，人们对这一点了解不多。我实际上认为，你能看到安全领导者正以惊人的速度变得对 AI 有所了解，而且你实际上也能看到，我那个非常“嗑药”的 Twitter 时间线和过去完全不“嗑药”的 LinkedIn 信息流正在趋同。它们都在谈论 Fable。

Swyx [00:32:45]：对。是的，确实如此。

Rune Kvist [00:32:46]：它们都在谈论如今你能否防止模型被越狱。

Swyx [00:32:51]：是的。

Rune Kvist [00:32:52]：比如国家安全、国家安全风险现在成了真正浮现出来的话题。除此之外，我认为你主要看到的是一种总体图景：对任何特定模型或任何特定模型输出都没有担忧，但有一种普遍的紧张情绪，那就是让关键基础设施运行在并非由美国人生产、美国政府也无法控制的模型上。

Swyx [00:33:14]：但这不一定直接体现在你的框架里，或者也许会，我不知道。

Rune Kvist [00:33:18]：实际上里面确实有一点关于模型来源和披露来源的内容。但我认为有很多用例中，运行中国的开源模型就是最佳解决方案。

Swyx [00:33:27]：是的。

Rune Kvist [00:33:27]：而这里的担忧稍微更宏观一些，它不是在任何特定认证层面就能最好地解决的。

Vibhu [00:33:32]：你在……有没有看到什么有趣的东西？你知道，如果你试图填补那个中间空白、那个中介空白，你们预测会需要什么有趣的东西，而不是，你知道，普通人可能会预期的东西？

Rune Kvist [00:33:47]：关于这里哪些风险重要，有一堆有趣的问题。所以现在，当下的风险是网络风险，因为它非常真实、非常具体。而另外一些也正显现为相当真实、相当具体的风险，比如儿童安全，它正变得既极其重要，也具有政治重要性。然后还有一些正在酝酿中的风险，今天感觉有点推测性，但花大量时间与模型相处的人看到它们正在到来，比如与生物学相关的风险。

Rune Kvist [00:34:18]：具体来说，就是模型是否会帮助对手生产生物武器，并使其变得极其廉价、极其易得，从而制造出另一场新冠或更严重大流行的可能性。新冠并非被设计成有害的，不像你刻意去做那样。所以我认为这些就是正在酝酿中的一些风险。我认为还有一点值得注意，那就是智能体在某种程度上是刻意收窄的。所以，比如当一家前沿智能体公司推出一个与客户互动的聊天机器人时，他们确实努力收窄了它感兴趣谈论的话题。以至于如果你问它，比如“你怎么看总统？”它就会拒绝回答，这意味着这类风险领域在某种程度上更小。而对模型来说，它是无限的。所以不存在任何一个专家，能够胜任地评估网络攻击的风险、十五岁少年与聊天机器人进行长达一个月的对话并看它是否真的会建议自杀或诸如此类可怕事情的风险，同时还能评估恐怖分子利用 AI 生产生物武器的风险。风险面实在太大了。 因此，核心挑战实际上就变成了：你如何让那些领域专家在一个统一的框架内工作，从而输出一份统一、连贯的报告和评级，让全世界都能去查看？因为这种全球视角至关重要，但今天没有任何一个组织能够产出这样的东西。

Swyx [00:35:47]：而当你发布你的模型标准时，你大概就会是那个被推定为能做成这件事的一方。

Rune Kvist [00:35:51]：我们认为可以有一家公司，联合一个专家联盟，构建出一套统一连贯的标准。我认为我们已经在当今所有企业风险领域证明了这一点。我们认为可以有一家公司，联合一个联盟，来制定审计规则，基本上就是所有这些技术专家所需的输入和输出。他们需要什么访问权限？他们应该如何处理信息安全？他们可以查看评估是否制作得当，而不必非得说：“嘿，这是威胁还是不是威胁？”但总体而言，评估这些评估是否良好、构建是否完善——这套审计规则基本上就成了所有这些专家的接口——我们认为一个清算中心就能把它整合起来。需要说明的是，当我说一家公司时，我把它理解为一家公司来协调大量工作，就像我们看待我们的联盟一样，并不是说我们在智能体安全方面掌握所有答案。我们要说的是，我们承担起引出所有关切、充当秘书把它们整合起来并严格管理的角色，使得标准每季度同步更新，并且产出的审计报告——在这个案例中是100页的审计报告——统一、简洁、清晰，达到高管做出明确通过/不通过决策所需的详细程度。 所以这就是我们认为自己可能扮演的角色。

Swyx [00:37:11]：我认为在很多方面，你们正在扮演 OWASP 过去所扮演的角色，而且你提到了，你知道，竞争和合作伙伴。

Rune Kvist [00:37:18]：是的。

Swyx [00:37:19]：你能再深入讲讲，比如他们是如何合作的吗？

Rune Kvist [00:37:20]：好的。首先，OWASP 基本上是一个由安全从业者组成的开源社区，他们聚集在一起构建框架，以应对最新的安全问题。我们认为他们在创建框架方面非常出色。我们——事实上，我们——首先，我们是他们的合作伙伴，所以我们有一篇联合文章。第二，我们从他们那里学到了很多。我们认为他们是一个巨大的情报来源。OWASP 不做的是构建运行第三方审计的机器，使得像 Cursor 这样的公司或像 JPMorgan 这样的公司能够请第三方依据这套标准对他们进行审查，并说：“嘿，你通过了标准，这是你可以用来建立信任、预先回应合作伙伴或客户问题的报告。”所以他们从根本上试图做的是不同的事情。你——他们是信息收集和情报收集以及厘清问题的一部分，但把这一切转化为承诺的运营层面并不是他们试图从事的业务。

Swyx [00:38:14]：标准正在涌现，而且做得非常好。那么是否也有必要做承保呢？显然这就在名字里，所以请记住是你先想到的。我觉得如果你有足够的共识，你实际上并不需要金钱这个角度，但它确实有帮助。

Vibhu [00:38:30]：我还想指出，你们也是一家营利公司，对吧？并不是说营利就没有整个商业的一面？

Rune Kvist [00:38:39]：是的。是的，所以我只是要发疯了

Swyx [00:38:41]：我在想钱的那部分。

Rune Kvist [00:38:42]：是的。是的，让我们进入钱的部分。让我们从你关于营利与非营利的问题开始。在当今的安全领域，网络安全领域，大多数标准都是由非营利组织制定的。我认为这是个问题。

Rune Kvist [00:39:00]：你必须问自己的问题是，你如何为这些标准创造良好的激励，使它们保持优质并跟上时代？

Rune Kvist [00:39:09]：非营利组织往往没有这种反向的营利激励，即掏空自己的标准并制造逐底竞争，但它们默认也完全不对其所服务的社区负责。没有流程——它们没有所服务的客户，不会去问：“你想要什么？你想要什么？你想要什么？”而当你审视当今安全标准的整体满意度时，人们往往并不太喜欢它们。你确实在其他领域看到，营利性标准可以很好地服务世界。所以有例子，比如我们之前谈到的穆迪。它并非没有缺陷，但它绝对是当今以惊人规模运行的关键社会基础设施。你的信用评分，是 FICO。它也是一门营利生意。而当你回溯更久远的历史，一些碰撞测试标准就出自保险公司。

Rune Kvist [00:40:06]：保险公司共同创立了公路安全保险协会，因为他们非常感兴趣的是，我们如何利用标准来降低死亡率并节省开支？回溯一下，之前——我们的名字实际上是在致敬Underwriters Laboratories，即UL，它大约在电力出现的时候成立。房屋开始起火。保险公司又一次为此买单，他们或许也是好人，但他们的利润动机是，让我们防止房屋起火。让我们测试所有电气产品、灯泡。这里所有的灯泡可能都经过测试，烤面包机等等。他们设立了一个实体来制定这些标准。如今，UL有一个营利实体和一个营利实体。他们所认识到的是，他们剥离了——他们开始营利。他们剥离出一个营利实体，因为他们认识到的是，嘿，实际上要很好地服务客户，你需要一个营利实体。这里的教训是，市场可以对齐激励的一种方式，让你既对客户负责

Rune Kvist [00:41:07]：又不会随着时间推移掏空你的标准，那就是将其与保险公司对齐，因为他们从根本上拥有良好的激励。因此，如果你是一个与保险公司密切合作的营利性标准，你就会获得反馈循环，从而真正贴近你的客户，同时也把他们的利益放在心上。所以这就是我们的模式——我们从中学习了很多的那种启发性的模式，这也是名字的由来。在某种程度上，承保这个词既可以与保险相关联，但它也是一个宽泛的术语，比如做出决策。

Rune Kvist [00:41:40]：如果你承保一个决策，你从根本上就是在为其后果承担责任。

Swyx [00:41:45]：是的，我是说，AI的保险合同长什么样？

Rune Kvist [00:41:49]：是的。如今对保险合同的大部分需求，都位于构建AI的人和购买AI的人之间。

Swyx [00:41:56]：是的。

Rune Kvist [00:41:57]：而你想要的——人们希望保险公司参与的原因，既有传统原因，嘿，如果出了什么问题，我们希望得到赔偿，但尤其是因为保险公司可以为这个等式带来信任。因为保险公司会为损害买单，如果他们愿意承保一份保险单，那就是他们在说：“嘿，我们认为这里存在风险，但那是可管理的。”而这在某种程度上是。他们的激励与企业采用它的激励相一致，所以这对市场来说是一个非常良好的信号。实际上，同样地，Waymo为了获得甚至在旧金山运营的首个许可所尝试的事情之一，就是让许多保险公司叠加一份巨额保险单。以防出了问题，不是因为谷歌付不起，而是因为让第三方去查看那些数据非常有价值

Rune Kvist [00:42:47]：这些数据被政府信任、被企业信任为保守的人，并且说：“嘿，我们已经看过了。我们实际上愿意在我们的资产负债表上承担其中一部分。”所以这就是人们对它感兴趣的原因。它的样子在某种程度上就像其他任何保险合同。你指定你想要覆盖哪些风险，你想要覆盖多少，比如最高到多少限额，以及覆盖这些需要多少成本。而就一个非常具体的例子来说，ElevenLabs购买了首份此类AI智能体保险单。他们与一些最大的、与政府合作的企业合作。他们真的很有兴趣超越期望，向客户做出承诺。所以他们写了一份保单，只覆盖他们客户一直询问的一些核心关切。而关键的事情实际上是让伦敦劳合社，世界上历史最悠久的保险公司，我们的合作伙伴之一，来查看这些数据，并作为与我们并肩的第三方说：“嘿，我们认为这里有一些值得承保的东西。”而这实际上就是它的样子。所以他们会向客户展示那份合同，客户可以看到他们获得了多少保障。他们可以看到它具体覆盖什么，而这可能明年也会改变。他们会想要写一份可能覆盖更多的保险单。

Swyx [00:44:04]：当你说劳合社时，是再保险，还是他们在同一层面上以某种方式分担，或者

Rune Kvist [00:44:11]：是的。所以通常，新公司进入保险业的方式是与保险公司合作，使保险公司承担大部分或全部财务风险。从根本上说，如果保险有用，因为它带来信任，你必须能够支付账单。伦敦劳合社有400年历史。他们从未有过不赔付索赔的记录。他们极其受信任。伦敦劳合社自己难以做到的是弄清楚哪些风险是真实的，我们应该寻找什么，有哪些技术控制措施，以及运行测试。所以他们使用AIUC-1作为某种承保框架，而我们产生一堆评估结果，然后直接输入以告知定价。所以这意味着ElevenLabs的客户知道赔付会到位。他们不必查看我们的A轮融资，看看我们是否认为他们资产负债表上有足够的现金。他们会看劳合社。

Swyx [00:45:05]：是的。

Rune Kvist [00:45:05]：是的。

Swyx [00:45:05]：而劳合社，众所周知非常有创意。我想我记得某个头条，比如，他们为詹妮弗·洛佩兹的屁股之类的投保了。

Rune Kvist [00:45:13]：没错。

Swyx [00:45:13]：对吧？

Rune Kvist [00:45:13]：我想，是大卫·贝克汉姆的右脚吗？

Swyx [00:45:16]：所以，是的。对吧？

Rune Kvist [00:45:17]：以及诸如此类的东西。

Swyx [00:45:18]：所以，显然不是很大的数据集。

Rune Kvist [00:45:22]：没错。这实际上是一家了不起的机构，它既带有那种历史悠久、真正老派学府式的优点。他们真的、真的像一家值得信赖的实体那样运作，而且他们有探索未来的意愿。我认为人们普遍认识到，如今AI中存在大量尚未被充分理解的风险，因此进入这个行业确实要承担真实的风险。但与此同时，未来大量的风险敞口也将出现在这里。这是唯一一个风险真正在增长的市场。这也是唯一一个会吞掉一些现有市场的市场。就拿车险来说。当没有人类驾驶员时，那个市场会是什么样子？嗯，它显然会发生变化。你要如何评估

Swyx [00:46:08]：你想给Waymo承保？

Rune Kvist [00:46:10]：我。我只能说，给Waymo承保的原则，与给其他类型的AI承保非常相似。

Swyx [00:46:15]：对。

Rune Kvist [00:46:15]：所以还是那句话，碰撞测试，这就是我们在Lovable为客户份额所做的事。对Waymo来说，这也同样需要发生，而这并不是你对待人类驾驶员的方式。所以人们日益意识到，世界正在非常快速地变化，而学习如何为AI承保的唯一途径，就是实际写出一些保单。你可能会蒙受一些损失，真的就把它当作研发费用来看待。但对他们来说，问题是：谁能成为他们可以携手进入这个行业的值得信赖的技术合作伙伴，帮助他们 navigate，确保他们不会犯下那种愚蠢的错误？但同时，谁又愿意听取他们所拥有的智慧？他们以前做过这件事。他们见识过。网络保险刚出现时，他们就在场。所以，AI在很多方面让人感觉完全是全新的，但风险也有很多方面看起来是一样的。因此，某些人身上其实蕴藏着极大的智慧，他们或许已经头发花白，但确实对如何量化风险有着敏锐的洞察力。

Swyx [00:47:08]：是的。而那个数字就是。所以基本上就像是，我想要五千万美元保额的保障来应对这些风险，劳合社会给你一个报价，然后你加上一点小小的加价之类的，然后你再转手去做那件事？事情就这么简单吗？

Rune Kvist [00:47:23]：你基本上要分出一部分保费。

Swyx [00:47:25]：是的。

Rune Kvist [00:47:25]：X%归给做定价的人。

Swyx [00:47:28]：你。这有点像。这有点像保险领域的商人银行那种模式。

Rune Kvist [00:47:33]：没错。你基本上就是分这笔费用，你可以把保险供应链想象成：有提供资本的，有做定价的，还有做分销的。通常，你会在这里支付保费的X%，在那里支付Y%，剩下的就归到这里。

Swyx [00:47:46]：整个保险界都是这样运作的吗，还是说到了某个阶段，比如。所以如果现在你有股权资本

Rune Kvist [00:47:51]：是的。

Swyx [00:47:52]：到了某个时候，也许你开始融资、发债之类的，然后你有了足够的银行账户余额和足够的历史记录，比如说你已经运营了十年

Rune Kvist [00:48:00]：没错。

Swyx [00:48:00]：你就不再需要劳合社了？

Rune Kvist [00:48:02]：那完全是一个选项。我能想象在某些情况下这是合理的，特别是如果有些风险我们高度确信想要承保，而现有保险公司反应太慢、找不到意愿

Swyx [00:48:13]：好。

Rune Kvist [00:48:13]：或者干脆难以评估，以至于他们不想做。但总的来说，一般而言，你并不想在提供风险资本这件事上与保险公司竞争，原因有两个。第一，这从根本上是一场资本成本之争。他们的资本成本极低。而初创企业总体上资本成本很高。第二，你想分散押注，而拥有一个包含家财险、车险的投资组合会非常有帮助。而我们并不打算成为车险公司，也不打算成为家财险公司。

Rune Kvist [00:48:43]：所以他们有一些天然优势，这使得我们更有可能选择合作。

Swyx [00:48:48]：是的。

Rune Kvist [00:48:48]：而他们带来的是规模化资本，我们带来的是技术专长。

Swyx [00:48:51]：你们，你们会和他们长期合作。

Vibhu [00:48:52]：和保险公司的讨论进展如何？基本上，他们是依据你们的认证来行事，对吧？他们信任对你们的尽职调查，相信你们的认证是有效的、你们测试了正确的项目，并且他们为此提供资金支持，也就是说，你们有正确的测试到位。那么，与保险公司合作有什么有趣的收获吗？

Rune Kvist [00:50:19]：首先，你需要知道风险得到了妥善管理，只有在这之后，保险才开始有意义。所以我们会看到标准生态系统基本上会跑在保险前面。至于我们为什么……你问我们为什么我也做保险，这其实是在证明我们认为一个完整的承诺信心基础设施生态系统应该是什么样子，我们认为把它变为现实非常有说服力，即使我们认为标准才是解锁其余部分的核心关键。

Swyx [00:50:44]：目前还没有任何索赔，对吧？

Rune Kvist [00:50:45]：没有。

Swyx [00:50:46]：这就是那种情况之一，你知道，如果人们还没有真正想清楚承保意味着什么。

Rune Kvist [00:50:52]：是的。

Swyx [00:50:52]：所以举个例子，我每月付给 Cursor 20 美元。

Rune Kvist [00:50:55]：嗯。

Swyx [00:50:56]：然后我随手写了一段代码，结果导致一架飞机坠毁，造成 2 亿美元的损失。

Rune Kvist [00:51:02]：是的。

Swyx [00:51:02]：我是索赔 20 美元，还是索赔 2 亿美元？

Rune Kvist [00:51:07]：是啊。这些都是很好的问题。

Rune Kvist [00:51:10]：幸运的是，整个保险和法律的历史都能帮助回答其中一些问题。我想第一点是，人们的保单都有额度上限。所以如果你想索赔 2 亿美元，那就必须……必须有人事先为那份保单支付了大量保费，才能获得 2 亿美元的保障。归根结底，这件事的运作方式是，你从大量的不确定性开始。这不仅适用于保险，也适用于，比如，你能用……Anthropic 能用互联网上的书籍来训练吗？他们可以去查阅先例，他们可以……但归根结底，这些事会在法庭上得到解决，你会随着时间推移把它敲定。所以你从这种模糊不清的状态开始，这既是保险在早期难以开展的原因，也是人们想要保险的原因，因为这种模糊性会拖慢采用速度。

Swyx [00:51:57]：是的。

Rune Kvist [00:51:57]：这也位于……的核心

Swyx [00:51:59]：是的。实际上，从某些方面来说，第一起事件将有助于确立其中很多内容。

Rune Kvist [00:52:05]：正是如此。而且已经有不少事件根本没有被保险覆盖。

Swyx [00:52:09]：是的。

Rune Kvist [00:52:09]：就拿现在已算旧的加拿大航空的例子来说，当时

Swyx [00:52:14]：我正想提这个

Rune Kvist [00:52:15]：聊天机器人幻觉出了一项退款政策，问题是，加拿大航空在那起案件中表示：“嘿，我们跟这事没关系。这个聊天机器人搞砸了，但是，抱歉。”而法院表示：“不，如果你让你的聊天机器人去和客户互动，它们就会代表你做出具有法律约束力的承诺。”这如今已成为未来一切相关事务的先例，届时你将……如果有人再次部署那样的聊天机器人，他们不应指望能推卸责任说：“抱歉，我的聊天机器人撒谎了。这跟我没关系。我是从 OpenAI 买的。”不，如果你把它摆在客户面前，你就要为此负责。所以每一个法庭案件，无论是否涉及保险，都会厘清责任，而责任正是保险的基础。标准和保险走到一起还有另一个原因。责任……我在这里稍微跑个题

Swyx [00:53:06]：请讲

Rune Kvist [00:53:06]：深入细节。

Swyx [00:53:06]：请讲。

Rune Kvist [00:53:07]：责任，其核心概念之一往往是某人是否存在过失。他们本应预见到这一点吗？他们本应阻止这件事吗？问题在于：你如何判断这一点？基本上，你判断的是他们是否履行了注意义务。这在实践中意味着什么？通常，他们会参考标准。所以，如果有一项被广泛采用的标准规定你必须具备基础性过滤器，或者你必须具备越狱过滤器，那么声称不知道这些东西存在就会难得多。因此，制定标准有助于厘清责任。法院往往会援引标准，说：“嗯，这看起来像是应做的最佳实践。”它摆在那里，人人都能看到。所以，标准是文明基础设施的另一种方式，保险可以在此基础上构建，承诺也可以在此基础上构建。

Swyx [00:53:53]：我完全理解。我们不必为了写这些、为了做这些机器人之类的东西而获得认证。

Rune Kvist [00:54:00]：没错。

Swyx [00:54:00]：但基本上，每当我们……去做审计时，我觉得人们就会开始规范起来之类的。我在想，这是否意味着你也不会同时成为我发布到生产环境的审批机构。你知道，就像，是的，你每季度检查一次。而我想每天发布一次。

Rune Kvist [00:54:19]：是的。

Swyx [00:54:19]：而且我不知道我的某个东西什么时候会违反你的某项认证。

Rune Kvist [00:54:24]：所以有几件事。其中有一些要求，涉及你自己如何……你必须告诉你的客户

Swyx [00:54:33]：这就像是持续监控。

Rune Kvist [00:54:34]：你们自己在发布至少重大版本之前是怎么测试的？我们不会每天去审计别人，但至少现在有了一条记录，如果你真的搞砸了，你的客户可能会来问你：“嘿，你答应过我会自己运行这些评测的。”对其中很多来说，人们合并的大多数PR并不会从根本上改变产品体验，但有些会。谢谢。

Swyx [00:54:57]：而且有时候你并不知道。

Rune Kvist [00:54:58]：而且有时候你并不知道。存在固有的风险，人人都知道，买软件时可能会有bug，这只是其中一部分。但如果你卖给夫妻小店，他们可能不在乎。他们只会说：“好吧，我想用你的工具，所以我愿意承担那个风险。”如果你卖给大银行，他们可能会说：“抱歉，我们在向我们的客户做出承诺。如果你不能向我们做出一个我们可以传递下去的承诺，我们就不想和你合作。”那么这就取决于你说：“我在乎我的智能体被用作这项任务中的关键基础设施吗？如果是，至少我可以对我运行的流程做出承诺，然后我们可以每季度去测试一下，看看它是否看起来仍然符合标准。”所以从我的角度来看，这算是一种方式。大公司默认在发布AI时就有一定程度的信任。

Rune Kvist [00:55:49]：如果你是一家年轻公司，如果你刚刚起步，默认情况下你没有任何信任。而你能去获得信任的地方非常少。所以我们大多数客户在开始与我们合作之前做的一件事，就是自己写安全博客文章。这很好。但话说回来，谁会相信你说“我们很安全”？

Rune Kvist [00:56:05]：任何人都能写那个。但这非常难。你去哪里获得那种信任？

Vibhu [00:56:08]：是的。

Rune Kvist [00:56:08]：所以我认为，让标准更易读，会让小公司更容易证明它们在做应该做的事，因为默认的假设是这里是蛮荒西部。

Vibhu [00:56:21]：你有没有一个路线图，比如。这里有很多工作要做，对吧？

Rune Kvist [00:56:25]：是的。

Vibhu [00:56:25]：这是第一个。

Rune Kvist [00:56:26]：是的。

Vibhu [00:56:26]：路线图上有没有你认为接下来是什么、什么即将到来、什么还缺失的内容？

Rune Kvist [00:56:32]：我认为当我们拉远来看，AIUC-1处理的是智能体。接下来，我们将处理模型。再接下来，我们将处理机器人技术，而在某些方面，Waymo就是第一个机器人。但完全相同的问题将会出现：有人要开发一个机器人，有人需要一些承诺，他们会难以做出这些承诺。而且——你会看到这上演，比如，如果你觉得Fable的担忧很糟，那就看看Waymo撞到一只狗的时候。那还是人们会失去理智的情况。想象一下第一个机器人把一个幼儿从厨房桌子上撞下来的时候。

Swyx [00:57:03]：是的。

Rune Kvist [00:57:03]：你会看到一些真正的严格责任。

Vibhu [00:57:07]：我是说，你能看到，对吧？就像Cruise被彻底

Rune Kvist [00:57:10]：摧毁了。

Vibhu [00:57:10]：所有许可都没了，是的。是的。

Rune Kvist [00:57:12]：没错。所以物理AI，严格程度只会不断上升。所以这大概就是大局。智能体、模型、机器人技术。我认为在智能体内部，当前这一组智能体已被这个标准很好地覆盖。但随着技术进步，随着智能体的时间跨度变长，新的故障模式将会出现。所以主要就是，你能否确保标准在它们出现时跟上？你也会开始看到新的模态。比如今天，世界模型主要还是一个研究问题。没有谁真正在用它。但那也会带来创造价值的新方式，同时也会带来更多今天没人知道如何应对的风险面。你会开始看到不经过人类中介的真正智能体交互。会有一堆有趣的问题。你基本上将需要一套新的法律体系。它们如何在彼此之间建立信任？如何。人类彼此交易时的核心事情之一，就是你知道你有追索权。你可以起诉他们。你如何确保任何智能体背后都有一张持续存在的资产负债表，这样如果你与它交易而它坑了你，你知道你能拿回你的钱？这些是我们将不得不处理的一些问题。而技术测试

Rune Kvist [00:58:24]：多智能体系统的测试也会既有趣又复杂。

Swyx [00:58:29]：非常有趣。现在有没有什么风险是不可保险的，而人们希望你能保？

Swyx [00:58:46]：哎。

Swyx [00:59:09]：好。是的

Swyx [00:59:10]：是的。这就像，这就像一个柠檬问题。

Rune Kvist [00:59:13]：正是。

Vibhu [00:59:13]：其实我觉得这件事还有另一面，对吧？比如说，如果你是在某个东西之上构建。假设我在用一个开放模型。

Rune Kvist [00:59:19]：对。

Vibhu [00:59:19]：我不知道它是在什么数据上训练的，对吧？

Rune Kvist [00:59:21]：是的。

Rune Kvist [00:59:24]：是的。

Swyx [00:59:29]：但人多就安全。如果大家都在这么做，那你就。

Rune Kvist [00:59:33]：没错。

Vibhu [00:59:33]：我是说，我会说，直到，你知道，Fable 被所有用过它的人回滚掉，对吧？

Rune Kvist [00:59:38]：对。我觉得这是个很难的问题。我不知道答案。

Vibhu [00:59:39]：确实。

Rune Kvist [00:59:39]：但我认为你的直觉是对的，就是关于，什么是注意义务？

Rune Kvist [00:59:47]：而今天人们并不认为，你去剖析开放模型的训练数据、检查所有东西，是一种惯例。事实上，很多人都在用它们。不检查这些被视为大体上可以接受。因此，我们不会要求你承担具体的

Vibhu [01:00:02]：我是说，我们也真的做不到，对吧？我们做不

Rune Kvist [01:00:04]：正是。

Vibhu [01:00:04]：我们不知道训练数据。

Swyx [01:00:09]：除非你雇 Nicholas Carlini，他能帮你把它提取出来。

Rune Kvist [01:00:12]：正是。不过他供不应求。

Swyx [01:00:15]：对。他——你只有那么多 Carlini，但是，

Rune Kvist [01:00:17]：正是。

Swyx [01:00:18]：对，你继续。

Rune Kvist [01:00:19]：所以我认为这也是合理的，就实验室而言，对此有很大的兴趣。但让实验室想要它的原因，正是让保险公司对此起疑的原因，所以你就遇到了柠檬问题。

Swyx [01:00:30]：对。有没有这样一种保险理论，其中逆向选择压倒了保险的风险分担作用？比如，这在哪里。给我们讲讲保险吧。

Rune Kvist [01:00:40]：很多保险归根结底就是微观经济学入门课的实践版本。

Swyx [01:00:45]：对。非常。就像，就像这就是为什么

Vibhu [01:00:47]：高风险逆向。

Rune Kvist [01:00:56]：正是。

Swyx [01:00:56]：一回事。

Rune Kvist [01:00:57]：核心问题是信息不对称。买保险的人对自己的风险有所了解，而保险公司不知道。所以问题实际上是。而这又回到同一个问题，就是，如果你依赖。如果存在某种测试能揭示潜在的真实风险，你就可以打破很多这类信息不对称。所以如果你能够，在你提到的案例中，对某人是否患病或患病的概率有良好的诊断，而且保险公司信任这个诊断，那么他们可能愿意承保。但如果他们不信任，如果不存在某种共同信息，那么——只有患者自己知道

Vibhu [01:01:32]：对。

Rune Kvist [01:01:32]：这就是它崩溃的原因。所以问题又是，你如何在各方之间建立可信的信号传递？

Rune Kvist [01:01:39]：这也正是穆迪存在的原因。穆迪做的就是可信的信号传递。这也是为什么穆迪永远不能——穆迪必须保持独立。如果穆迪被摩根大通拥有，那么摩根大通就不能把它用作信号传递机制。所以标准和认证的很多基础内容都只是沟通工具。它只是一个信任缺口。而这时你就必须思考信息传递者的激励是什么。而打破这些的另一种方式是通过透明度。如果你在运作方式上保持透明，你就几乎不可能轻易地糊弄别人。你让这样做的成本高得多，而这会增加信任。这就是这里有变更日志的原因之一。

Rune Kvist [01:02:16]：每一个小改动

Swyx [01:02:18]：对

Rune Kvist [01:02:18]：你都可以回溯找到，这意味着如果我们把标准改得更差

Swyx [01:02:24]：哦，哇，一次更新里有好多改动。

Rune Kvist [01:02:27]：对。

Swyx [01:02:27]：好。

Rune Kvist [01:02:28]：而其中很多只是随着事情变得更清晰，你能看到很多澄清，你能看到一些修订。随着事情被敲定，你会想改这个。但如果你把这一切都公开，你就让糊弄别人变得难得多，或者至少你会很容易被发现。

Rune Kvist [01:02:42]：所以这是一种通过让更多信息公开来减少信息不对称的方式。

Vibhu [01:02:50]：我喜欢你确实知道未来版本什么时候会来。

Swyx [01:02:52]：对。

Vibhu [01:02:53]：所以我猜是每季度一次。

Swyx [01:02:53]：我是说，他们只是

Rune Kvist [01:02:54]：是每季度一次。

Vibhu [01:02:54]：对。

Swyx [01:02:54]：算是每季度一次。

Rune Kvist [01:02:55]：对。

Swyx [01:02:55]：并不那么令人意外。

Rune Kvist [01:02:58]：对，但这也是一项承诺。就像，如果我们现在到 7 月 15 日没有交付，基本上

Swyx [01:03:03]：我是说，你可以直接把它打包起来，然后不管你有什么，直接发布就行。

Rune Kvist [01:03:05]：你就把它打包起来。

Swyx [01:03:05]：对。那并不难。

Rune Kvist [01:03:06]：但这有点像我们每次兑现这个承诺，就存入了一定量的信任。

Vibhu [01:03:12]：对。

Rune Kvist [01:03:12]：而在创业公司圈子里，每季度发布一个新版本的标准感觉很容易。在那些习惯这种十年周期的企业里，我们常常会遇到怀疑。就像，根本不可能。然后你给他们看变更日志。

Swyx [01:03:28]：我还想真正思考的一件事是，你知道，你说过如果你对某个东西有测试，那你就可以为它投保。

Rune Kvist [01:03:35]：是的。

Swyx [01:03:36]：对吧？所以你的标准，也就是 AIUC，本质上是在建立一个让审计得以进行的框架，这样你至少可以测试，比如所有这些基线护理标准是否都已满足，因此人们可以针对每个人都有的标准风险投保。我想知道，是不是需要开发——你需要开发其他测试。我们过去讨论过机制可解释性。你对那个有兴趣吗，还是有其他我们没想到的测试类型？

Rune Kvist [01:04:02]：是的，我认为机制可解释性是一个重要的方向。很多人对它感兴趣。我想大家都会同意，它有着很有前景的科学潜力。

Rune Kvist [01:04:15]：至少距离它能够按需商业化，也就是现在有一批供应商可供选择，我们还有一段距离。

Swyx [01:04:26]：Goodfire 会说它已经商业化了。

Rune Kvist [01:04:28]：正是。

Swyx [01:04:29]：而它只是

Rune Kvist [01:04:30]：我们会同意他们的说法。我们认为他们正在做的工作非常了不起。

Swyx [01:04:33]：对。

Rune Kvist [01:04:33]：我们还没到可以真正强制要求它的地步。但这类事情，你可以想象在相对不久之后，如果人们使用机制可解释性作为降低风险的方式，你可以设置一个可选控制项，至少让他们因此获得加分。我们不能强制要求它，因为要要求所有人都成为 Goodfire 的客户会很难。

Swyx [01:04:49]：加分对我有什么好处？这是——这是通过/不通过，对吧？我在意加分吗？

Rune Kvist [01:04:54]：这是通过/不通过，但它也是一份 100 页的审计报告

Swyx [01:04:57]：哈

Rune Kvist [01:04:57]：你会惊讶于有多少安全负责人真的会坐下来消化这些东西。

Swyx [01:05:02]：好吧。

Rune Kvist [01:05:02]：我向你保证，如果今天有人在用机制可解释性，他们一定会有一页幻灯片讲这个，因为他们会想借此获得加分。

Swyx [01:05:11]：这很酷。很花哨，对。

Rune Kvist [01:05:12]：但如果有第三方说，“对，他们用了机制可解释性，而且实际上。”那就更简单了。

Swyx [01:05:16]：为了给一直关注我们机制可解释性播客的听众讲清楚

Rune Kvist [01:05:21]：对。

Swyx [01:05:21]：它实际上就像，哦，你在用，你知道，OSS。它正在激活这三件危险的事情。我们会监控它，并把它记录到我们选定的任何工具里。Gray Swan 有类似 Signal 之类的东西，就这样。这就是基于机制可解释性的激活信号。好。

Rune Kvist [01:05:38]：对。所以我认为机制可解释性很有意思，而且我认为如果那个承诺真的实现，你可以做出比用评估更强的承诺。所以我认为那非常有说服力。我认为会变得越来越重要的另一件事，就是良好的事后监控，稍微偏事后一点。你在评估中看到的一些正在出现的挑战之一是，智能体开始意识到自己正在被评估。

Swyx [01:06:04]：对，评估意识。

Vibhu [01:06:05]：对。

Rune Kvist [01:06:05]：正是，这是个问题。这意味着它们基本上，如果知道自己被监视，就不会做那些它们认为会因此受罚的事。而默认情况下，除非你知道如何降低评估意识，否则你应该更不信任评估。而最真实的事情之一，监控，就是真相的来源。你是否实际上给出了医疗建议，你多快知道？你多久——你过去做过多少次？你响应多快？你多久检测到一次？你多快检测到？所以我认为那也是另一种范式。它稍微更具侵入性。你实际上会查看一些客户数据，但我认为它会随着时间变得更普遍。

Swyx [01:06:45]：人们谈论这件事时，好像我们不应该写关于评估意识的内容，因为它会泄露到数据集中，然后就会。就像，我们应该只是。就像，我们应该，就像，永远不谈论它，只在当面见面时，就像，在离线、不被记录的情况下谈论。就像。

Rune Kvist [01:06:57]：你们看到 Anthropic 的那项研究了吗？我想这实际上就是 Anthropic 做的那个测试。

Swyx [01:07:04]：什么？

Rune Kvist [01:07:05]：它取了。我记不清这里的细节了，但他们针对失准（misalignment）做了一些研究，然后他们剔除了训练数据——那些与 LessWrong 讨论失准相关的内容，然后他们又跑了同样的测试，失败率下降了。

Rune Kvist [01:07:20]：所以它实际上是一些证据，指向它学到了——要么是能力，要么是倾向去做那件事。

Swyx [01:07:28]：对，我是说，所以有超信（hyperstition）效应，然后还有，就像，Luigi/Waluigi 效应。

Rune Kvist [01:07:31]：没错。

Swyx [01:07:32]：这就像是，你越是试图针对它进行训练，你就制造出相反的东西。

Rune Kvist [01:07:36]：对，就是这样。正是如此。

Swyx [01:07:38]：在某些方面，我认为 Anthropic 的巨大成功本身就是超信的结果，就像你希望这个东西存在于世界上，而现在它确实存在了。但是，就像，它同时也会制造出相反的东西。

Rune Kvist [01:07:48]：对。

Swyx [01:07:49]：就像，我认为可能刚进入这个领域的人不记得 Waluigi，但是，就像，我确实认为这对于理解这一点非常重要：当你针对某样东西进行训练时，你同时也在训练它的对立面，因为它就是一个大的翻转。

Rune Kvist [01:08:02]：对。

Rune Kvist [01:08:03]：对。

Vibhu [01:08:04]：我觉得，你知道，就回到我们刚才说的，除了机制可解释性之外，还有很多东西仅仅是被加进来就有价值，对吧？所以你的版本是，你能多快地测量东西？你有日志吗？你有评估吗？你知道，你看到技术栈的其他部分了吗，比如你使用的推理提供商、那些服务？好，我是在用中国模型跑他们自家的 API 吗？我是在通过这里经过认证的供应商使用吗？我是自己托管吗？我在推理引擎这一侧做什么？就是，有太多层面的东西能提供，你知道，你可以标准化出来的信息，对吧？

Rune Kvist [01:08:36]：对。而且你也越来越多地看到，除了基本的聊天机器人之外，你越来越多地看到大公司在采用智能体平台，他们在 Google 的 Agent Studio 等之上构建，这些平台附带了一堆，就像

Vibhu [01:08:52]：托管智能体。

Swyx [01:08:53]：托管智能体。

Vibhu [01:08:53]：现在到处都是。

Swyx [01:08:54]：每个人都有托管智能体。

Rune Kvist [01:08:55]：正是。

Vibhu [01:08:56]：而且甚至还有层次之分。你可以托管你自己的托管智能体，OpenAI 的 Agent SDK，或者由 Anthropic 托管，或者 Google 两者都做。

Rune Kvist [01:09:03]：没错。而这些只是加强你能做出的安全保证的方式。在某些方面，这算是企业安全的基本功。他们。就像，他们喜欢把东西托管在自己的场地上，因为这给他们一种真正的掌控感。而且我认为你会，你会看到，就像你在其他每个企业市场看到的那样，如果你真的向企业销售，你就会开始在这些安全特性上竞争。这在 AI 中也在发生，并不令人意外。而且我认为你看到有一定数量的企业在想要。企业真的在纠结于这一点：让智能体有用的是它们是随机的，而让它们真正难以被采用的是它们也是随机的，这两者之间存在张力。

Rune Kvist [01:09:46]：领导者们在这张桌子的不同边站队，部分取决于 CEO 有多想通过说自己是 AI 原生、说我们必须愿意承担风险来推高股价。我们看到，我们实际上看到财富 1000 强企业的 CISO 们头脑中存在巨大的张力，一方面 CEO 说，“我们必须采用，否则我们就会变得无关紧要，而如果我们搞砸了，你就被解雇了。”

Swyx [01:10:08]：哎哟。

Rune Kvist [01:10:08]：而这差不多就是我们一次又一次看到的那个核心情感张力。而我们为他们解决的核心问题之一，就是把那种抽象的情感担忧转化为一个框架，在某些方面只是为那种担忧提供清晰度。

Vibhu [01:10:23]：那么这里有什么。所以有件事我觉得我们有点跳过了。我们谈了很多智能体语言模型，跳过了世界模型。

Rune Kvist [01:10:31]：对。

Vibhu [01:10:31]：你们有语音，这很有意思，和 ElevenLabs 一样。

Rune Kvist [01:10:34]：是的。

Vibhu [01:10:34]：那生成式媒体呢？比如生成图像、视频，这实际上是一个使用量很大的类别。你们当前的政策里有涉及吗？是单独的政策吗？你怎么看这个领域？

Rune Kvist [01:10:46]：是的。

Swyx [01:10:49]：音乐。

Vibhu [01:10:50]：对，音乐也是。

Vibhu [01:11:33]：我们看到，比如 Luma 有 Luma agent，它仍然相当依赖人在回路中。

Rune Kvist [01:11:37]：是的。

Vibhu [01:11:37]：所以它不只是

Rune Kvist [01:11:37]：而随着技术成熟，这完全说得通，随着时间推移，它会变得如此之好，以至于人们不会想因为人在回路中而拖慢速度。然后，做出承诺的需求就会增长。

Swyx [01:11:52]：为什么不干脆对所有事情都建立预测市场？

Swyx [01:11:55]：对吧？这非常接近 EA。

Rune Kvist [01:11:56]：是的。核心在于人。预测市场依赖公开信息。公开信息并不多。只是内部人士在两边交易。

Swyx [01:12:06]：是的。

Rune Kvist [01:12:09]：那是违法的。

Vibhu [01:12:10]：有泄露的信息。

Rune Kvist [01:12:12]：确实有泄露的信息。核心挑战在于，你常常拥有私密的敏感信息，而你需要围绕这些信息传达信心和信任。当然，对于某些主张，比如任何模型是否都能被越狱，你可以依赖公开证据，因为会有很多人说，“嗯，有大量研究，而且实际上它们都能被越狱，所以这没问题。”我认为这很好。但对于，嘿，这个新的未发布的 Methus 模型，它实际上有多强？

Rune Kvist [01:12:43]：预测市场没什么可说的，因为实际上根本没人知道。所以我认为这正是某些环节出问题的一个核心所在：世界上指导某些高层决策的大量信息其实是私密的，而且往往也根本不为外界所知。

Vibhu [01:12:56]：我觉得人们喜欢预测市场的一点在于，它不是在回答那个宽泛的问题，而是针对一个具体问题，对吧？比如某个模型会不会在某个日期前做到这件事，或者某个模型到那时是否有能力做到这件事，对吧？

Rune Kvist [01:13:07]：是的。

Vibhu [01:13:08]：这里有一点细微的区别。

Rune Kvist [01:13:10]：对。而且通常最有趣的问题，比如说，如果你是某家银行的安全主管，你真正想回答的问题是：这个产品、这个智能体，会不会做出这件坏事——也许这才是我主要关心的——而且具体是在我关心的那个场景里？问题在于，最接近的……那个信息可能在任何地方都不存在。所以预测市场聚合的是已有的信息。而这个信息可能并不存在，你想要的是非常具体的信息，并且你愿意为此付费。这大概就是第三方审计的用武之地。我们也并不真的用预测市场来判断上市公司是否在账目上造假。你会用审计。你大概也可以用预测市场，但信息就是没那么容易获得。如果真要用，那基本上就只是在凭感觉交易了。其实，看看 2001 年的预测市场有没有预测到安然会破产，会非常有意思，而它们有点

Swyx [01:14:02]：是的。

Rune Kvist [01:14:02]：你能不能从CEO的疯狂程度或其他某些特质中看出——你能不能感觉到，他们比其他人更有可能做假账？

Swyx [01:14:10]：或者有足够多的内部人士泄露出来，那么

Rune Kvist [01:14:12]：那也可能说得对。

Swyx [01:14:13]：对。这就像，我是说，这——那正是预测市场的理想梦想。你有流动的市场，以及一切。

Rune Kvist [01:14:20]：是的。

Swyx [01:14:20]：然后你就可以组合出你确切的那套风险来对冲。

Rune Kvist [01:14:24]：是的。

Swyx [01:14:25]：对吧？

Rune Kvist [01:14:25]：是的。对。而且我认为，预测市场会给它带来大量新信息。所以问题主要不在于它是哪一个，而更在于预测市场真正擅长的是哪些类型的问题

Swyx [01:14:37]：是的。

Rune Kvist [01:14:37]：以及哪些问题连内部人士都没有信息，以至于实际上没人能据此交易，而需要把信息生成出来。

Swyx [01:14:43]：好，一个自私的问题，然后一个开放式的问题，关于AIUC的未来。自私的问题会是，所以你有你的标准，对吧？

Rune Kvist [01:14:52]：是的。

Rune Kvist [01:14:58]：对。

Swyx [01:14:59]：培训项目，一级、二级、三级。我自己就是CFA，所以我知道——那就是金融行业做的事。

Rune Kvist [01:15:04]：是的。

Swyx [01:15:05]：如果我有AI工程师一级、二级、三级，然后它就会——他们会，比如，和这些人合作，那会有帮助吗？我不知道。

Rune Kvist [01:15:12]：如果你把最高层级的目标设想为，比如，加速智能体的安全部署，那会完全有帮助。因为现在经常发生的一件事是，人们构建了智能体，把它带给决策者，而决策者提出了一堆他们之前没想到的安全考量，于是现在它就不符合规格了。现在你就得去——比如，加上这些过滤器，等等。所以如果你把这件事左移，比如如果每个人都知道他们是在按照什么规格构建，如果每个人都知道评分方案

Swyx [01:15:41]：对。

Rune Kvist [01:15:42]：如果他们已经被训练过，那就太棒了。所以默认情况下

Swyx [01:15:44]：但评分方案是你们定的，对吧？

Rune Kvist [01:15:45]：再说一遍。

Swyx [01:15:45]：我没办法设定评分。你们，是你们设定评分方案。

Rune Kvist [01:15:47]：我们设定评分方案。而且我认为有价值的是，比如，如果你能把这些变成

Swyx [01:15:52]：培训项目。

Rune Kvist [01:15:53]：培训项目

Swyx [01:15:54]：对。

Rune Kvist [01:15:54]：这样人们

Swyx [01:15:54]：而你们，你们并没有在做这件事。

Rune Kvist [01:15:55]：我们没在做那件事。

Swyx [01:15:56]：对。

Rune Kvist [01:15:56]：我认为做这件事是有价值的。

Vibhu [01:15:57]：有别人在做。我是说，不是要打断，但你知道

Swyx [01:16:00]：对。

Vibhu [01:16:00]：OpenAI有他们的

Swyx [01:16:02]：Anthropic也有类似CCTA的东西。

Vibhu [01:16:04]：对。你知道，他们想要十万名经过部署认证的顾问，对吧？

Rune Kvist [01:16:09]：我真的觉得这很好。如果我们有更多人知道如何构建安全的智能体，我们就能加速普及，而我们目前并没有在做培训人的工作。我觉得这非常符合我们的使命。我们的注意力就这么多。

Swyx [01:16:24]：我告诉你我为什么没做。

Rune Kvist [01:16:26]：嗯。

Swyx [01:16:26]：不是我没想过这件事。

Rune Kvist [01:16:28]：是的。

Swyx [01:16:28]：只是它太规定性了

Rune Kvist [01:16:30]：对。

Swyx [01:16:31]：就好像，这就是你应该知道的，因此，我没包括进去的东西就是你不需要知道的。

Rune Kvist [01:16:35]：是的。

Swyx [01:16:36]：我就觉得，“这太糟了。”就像。

Rune Kvist [01:16:37]：是的。对。

Vibhu [01:16:39]：但我觉得，你知道，你们做的非常有趣且可防御的事情，就是你们那份有观点的100页报告，讲的是这里什么重要，对吧？这里是你获得认证所需要求的、规定性的定义，所以。

Rune Kvist [01:16:55]：是的，我认为那是一种选择。我认为基本上那是一种选择，而且我认为这对某些受众非常有用，比如如果你要把这个部署到银行或医院等等，那些边界的清晰性极其有价值。

Rune Kvist [01:17:09]：还有很多其他场景，更加实验性、更多地去尝试反而更合适。所以对我来说，这非常合理。另外，你还得每三个月就重写一次你的课程。

Swyx [01:17:21]：没关系。我会那样做。就像，没关系。但 yeah，不，对我来说，实际上——就像，真的，就像，搞错的后果以及，就像，影响某人的职业生涯是一项重大的责任。

Rune Kvist [01:17:35]：Yeah。就像，我觉得那完全正确。而且我觉得我们的很多工作实际上是这样的，我们不想承担。我们也不认为自己能够承担那种，像是，安全或不安全的真正北极星，但我们可以协调那个论坛，在那里你列出了所有这些。

Swyx [01:17:52]：Yeah。你们的联盟太棒了。

Vibhu [01:17:54]：你觉得这能以某种方式众包吗？就像，对你的例子来说，什么是 AI 工程师认证，对吧？这是一个相当大的播客。人们可以有很多观点，而且，你知道，可以有很多讨论。

Swyx [01:18:05]：而且人们有理由不同意。所以我凭什么说，就像，那是一个正确的问题，那是一个错误的问题？

Rune Kvist [01:18:09]：Yeah。

Swyx [01:18:09]：对吧？所以，就像，我不知道。

Vibhu [01:18:10]：我们会有一个出口。

Rune Kvist [01:18:13]：Yeah。

Vibhu [01:18:14]：向正在听的人发泄你的不满，你知道吗？

Rune Kvist [01:18:16]：没错。而且我认为这也取决于你。或者说，承诺的内容是什么非常重要。所以如果承诺是，“嘿，如果你上了我的课，你就不会搞砸，”你显然不能做出这样的承诺。你可以做出这样的承诺，比如，“这里是。每个人都至少应该知道的一些重要事项，”然后你必须在那边把剩下的填上。至少承诺变了。当然，如何传达这一点让人们真正理解，这里面有一些微妙之处。但我认为重要的是要明确界定，我们中心有一个部分专门讲，承诺是什么、承诺不是什么，因为不可能保证不出任何问题。如果你需要保证不出任何问题，你就不能与前沿 AI 合作，但你可以做出一些声明。

Swyx [01:18:56]：是的，当然。酷。想以开放式的讨论结束，AIUC 要走向哪里？我想你谈到了模型相关的东西、机器人相关的东西。就开放式地说，你知道，你们未来会怎样？

Rune Kvist [01:19:10]：非常近期，我们现在已经开始与各个正在兴起的类别中的一些前沿公司合作，我们会继续这项工作，以确保我们覆盖所有真正正在兴起的用例。我们看到，一旦市场上第一个行动者动了，就会有很多兴趣。很多人都想跟随他们。我们认为基本上 AIUC-1 会达到一个点，届时所有财富 1000 强公司都会围绕该标准来组织他们的风险流程。

Swyx [01:19:38]：而你们有 50%？

Rune Kvist [01:19:39]：不，我们今天没有 50%。

Swyx [01:19:41]：哦。

Rune Kvist [01:19:41]：我认为在某种情况下，可能到年底，我们的联盟里可能会有代表财富 1000 强中 50% 的成员。

Swyx [01:19:48]：我明白了。懂了。

Rune Kvist [01:19:49]：所以那是在智能体层。然后我们认为，是的，模型层，也会是这样。它只是带来。现在正在浮现的是那些最有可能拖慢 AI 普及的担忧。然后，是的，我们认为机器人技术在那之后。

Swyx [01:20:03]：你们在招什么岗位？什么岗位难招？

Rune Kvist [01:20:05]：我们在全面招聘，涵盖市场和大量技术岗位。在我们技术团队里表现出色的人，是那些真正热衷于成为真正全栈的人。比如说，当我们开始与 Cursor 合作时，我们以前从未做过编码工具。所以就是拿标准去扩展它，充实前沿评测对于长周期编码智能体来说应该是什么样，并把这个问题一路从与 Cursor 以及这个领域的其他人合作，推进到充实并塑造一个新版本的标准。所以这确实是一个全栈的、创业型的技术人才在 AIUC 会做得非常好。难的部分是构建一个通用的红队测试器，能从 Harvey 到 Cursor 以及介于两者之间的所有地方都适用，既有一套一致的方法论，又有一套一致的风险和攻击分类法，并且做到。我们认为这从根本上就是做出一致承诺的最佳方式。JPMorgan 两边都在买。他们想要一个框架、一种一致的方式来产出这个，而实现这一点的机制，你得处理现实世界中的大量复杂性。我认为我们在其中不少方面有好的答案，但在执行这一点上确实有一些相当难的工程问题。

Swyx [01:21:18]：我能稍微追问一下吗？比如，你们必须得有一个吗？为什么不干脆说：“好吧，你看，我们百分之四十的用例是编码智能体，所以我们就专攻编码智能体，”然后那就是，那就是其中之一。

Rune Kvist [01:21:28]：是的。

Swyx [01:21:29]：然后，好吧，百分之三十是像 RAG 这样的。

Rune Kvist [01:21:31]：是的。

Swyx [01:21:31]：那就只做 RAG。

Rune Kvist [01:21:32]：是的。我觉得这个问题里有些智慧。

Swyx [01:21:36]：是啊。

Rune Kvist [01:21:37]：这取决于。我们发现有很大价值的一点是能够做到。如果买方那边的决策者，比如说你是某家银行的风险主管，而你最大的风险不在编码，也不在客户支持，或者不管那前两大用例是什么，而是在别的地方，你仍然想确保那个框架对你最关心的问题有所回应。否则，你就赢不到那份信任。当然，很多最关心的问题确实出现在采用率高的地方。所以很好，我们也是这样。所以今天我们确实没有覆盖每一个边缘情况，但我们有一个框架，可以把所有这些都加进去。我们有一套不断适应的全球统一的风险和攻击分类法。

Rune Kvist [01:22:20]：就像，每当出现一个从未见过的新事件时，很好，我们就去更新分类法，把它纳入进来。所以我认为我们有一套连贯统一的方案。这并不意味着我们在代码和冷门用例上投入相同的时间。我们确实把时间花在人们关心的地方。我们认为拥有一种共同语言是非常有价值的。

Swyx [01:22:43]：是的。这说得通。那是一个，那是一个，那是一个重要的选择。其实我们本来要结束了，但我想到了最后一个收尾问题，就是，你想怎么理解都行，对吧？假设一年半以后，OpenAI 的秘密五人专家小组宣布我们已经实现了 AGI。

Swyx [01:23:00]：你预计你的业务会发生变化吗？

Rune Kvist [01:23:03]：不会。我认为在某个重要方面……我认为最后能存续于实验室之外的业务

Swyx [01:23:10]：将是承保。

Rune Kvist [01:23:12]：嗯，有一项，有一项工作是实验室永远无法为自己做的，那就是充当自己的监督者。

Swyx [01:23:19]：这就对了。

Rune Kvist [01:23:21]：所以我认为，在某种程度上，如果你相信这种框架，比如，你会看到高度集中化，比如实验室会杀死所有初创公司

Swyx [01:23:29]：是的

Rune Kvist [01:23:29]：这一点，我们可以深入探讨利弊。

Swyx [01:23:32]：我觉得实验室其实非常在意这件事，对吧？有整个叠加的问题，当我们拥有比我们更聪明的模型时该怎么办，然后上面还有一层，对吧，比它们更聪明的模型在训练它们。

Rune Kvist [01:23:41]：是的

Swyx [01:23:41]：实验室其实对这件事想得很多。

Rune Kvist [01:23:42]：他们对此思考很多。我认为在这些议题上，实验室里有一些最聪明的人。所以问题不在于他们是否在乎。问题在于，他们都会陷入一场竞赛，在这场竞赛中，他们可能有动机偷工减料，也可能有动机向政府隐瞒信息，等等。所以，一种近乎永恒的真理是，你需要一个独立的第三方去检查那些数据并分享信息，在这个案例中，比如与政府分享。这更多是一个激励问题，而不是兴趣问题。我认为他们从根本上都在努力让这件事顺利进行。

Swyx [01:24:14]：我没有听到的是，比如，AGI，无论这个标签对你、对我、对他们意味着什么，从根本上并没有，比如，一种质变

Rune Kvist [01:24:23]：正确

Swyx [01:24:23]：在，比如

Rune Kvist [01:24:24]：正确

Swyx [01:24:24]：你仍然必须评估这些模型。

Rune Kvist [01:24:26]：而且我认为，会让这成为质变的一件事是，存在。对于 AGI 的某些定义，它只会被国有化。它将成为对主权的威胁。

Swyx [01:24:34]：是的。

Rune Kvist [01:24:34]：然后到那个时候，某种程度上也许每家公司都是政府，政府就是每家公司。我很难想象那个世界。但到那个时候，你已经

Swyx [01:24:42]：我们。我不认为我们会行动得足够快。

Rune Kvist [01:24:44]：对。

Swyx [01:24:44]：你知道，就像，我们不会，我们并没有准备好那样做。

Rune Kvist [01:24:47]：是的。

Swyx [01:24:48]：但我在播客上已经讨论过很多次了。

Rune Kvist [01:24:51]：是的。

Swyx [01:24:52]：我是说，你知道，就监管机构这个担忧而言，我还要提一下，因为我有金融背景，我经常想到《大空头》里的那个场景，他们和穆迪谈，也和标准普尔谈。然后穆迪的那位女士说：“嗯，如果我不给你们 AAA 评级，你们就会直接去找标准普尔。”

Rune Kvist [01:25:09]：是的。

Swyx [01:25:09]：所以实际上，监管机构是一种自然垄断，因为如果监管机构之间存在竞争动态，那么监管机构就会相互竞争，把标准压到尽可能低。

Rune Kvist [01:25:18]：没错。

Rune Kvist [01:25:20]：所以我认为，我们非常高兴能让保险公司坐在这张桌子旁，其中一个原因就是，保险公司是唯一没有这种动态的一方，因为账单是他们付的。如果他们不断压低价格

Swyx [01:25:32]：是的，你们会

Rune Kvist [01:25:33]：他们也要付账单。

Swyx [01:25:33]：你们找不到市场出清。

Rune Kvist [01:25:35]：而穆迪就不是这样，如果他们给出的建议有偏差，他们并不直接为此付账。所以我们认为这种平衡因素相当重要。而且我认为这也凸显出，没有哪个系统是完美的。你肯定需要对穆迪进行审视，也需要对监管机构进行审视。

Swyx [01:25:52]：太棒了。非常感谢你愿意聊这些。这是一场涵盖一切的精彩对话。祝贺你们迄今为止取得的成功。

Rune Kvist [01:25:59]：谢谢你邀请我。

Swyx [01:26:00]：是的。太棒了。

Rune Kvist [01:26:00]：很感激。