Modal CEO Erik Bernhardsson 谈 AI 算力为何不是矩形

弹性 GPU、沙箱业务的增长，以及智能体云的经济学Latent.Space10月22日·86分钟收听本期对话86分钟阅读文字稿

热烈欢迎 Basil Chatha，他是我们最新加入的联合主持人，来自 AI 工程领域的 Forward Deployed 方向！我们将与他一起推出一档新节目，而这次能借 Modal 完成巨额 D 轮融资之机采访其 CEO Eric，我们实在不愿错过。

两年前，我们与 Erik Bernhardsson 聊过他对真正无服务器 AI 基础设施的愿景：开发者应当能够运行代码，而无需预置集群、预测负载或为闲置资源付费。随后 CTO Akshat 加入我们，谈到了 Modal 的基础设施原语，以及提供这些原语和智能体体验的技术栈。

过去 5 个月发生了很大变化。自 5 亿美元 C 轮融资以来，Modal 现在报告其年化收入已突破 10 亿美元，以 160 亿美元估值完成了 7.5 亿美元 D 轮融资，并已启动近 30 亿个沙箱。在这次对话中，Erik 与 Vibhu 一起解释了这一增长背后的基础设施和经济逻辑——以及为什么对算力的需求很少看起来像过去购买算力时所用的那种合约。

在 YouTube 上观看完整对话 →

GPU 需求不是矩形的

典型的容量合约会为客户提供固定数量的 GPU，期限也固定。把容量对时间作图，你会得到一个矩形。真实负载的行为则不同：它们会在一天中增长、出现尖峰并回落。为峰值买够容量，你就会为闲置硬件付费；买少了，你就有可能错失需求。

Erik 将 Modal 的押注描述为一种期限转换：把数千名客户的需求汇聚起来，在底层锁定容量，让每个客户在需要时使用自己所需的部分。聚合需求越平滑，这个池子就越有用。这可以很好地补充我们与 SF Compute 的 Evan Conrad 的对话：Evan 专注于让容量可交易；Erik 专注于让容量以更小、更弹性的切片变得可用。

另一面也存在财务风险。如果供应商以当前价格锁定容量，而之后 GPU 价格下跌，它就可能被套在昂贵的供给上。Erik 表示他并不预期价格会很快崩盘，但认为在构建业务时这一可能性很重要。跳转到 GPU 价格讨论 →

差点没能活下来的沙箱

在 Erik 和联合创始人 Akshat Bubna 注意到语言模型能够生成代码、并且总得有个地方来运行这些代码之后，Modal 推出了沙箱。早期采用率相当有限，团队甚至讨论过关停这个产品。后来，编码智能体、后台智能体和强化学习创造了新的需求。Erik 表示，沙箱业务已增长到约占 Modal 收入的三分之一，这一结果是他发布时没有预料到的。

这种增长也改变了基础设施必须承担的功能。一个智能体可能会创建环境、运行代码、检查结果，然后反复重试很多次。启动和恢复这些环境的延迟会成为体验的一部分。在我们最近对 Akshat 的采访中，我们探讨了从开发者体验到智能体体验的这一转变；在这里，Erik 补充了产品和商业层面的故事。跳转到沙箱讨论 →

快速启动是一项基础设施特性

只有当容量能足够快地到位并发挥作用时，弹性才有意义。Modal 关于无服务器 GPU 的文章描述了其中的机制：可用 GPU 缓冲池、自定义文件系统、进程检查点以及 GPU 内存快照。这些组件减少了让另一个模型副本上线所需的工作。这是一个具体例子，说明基础设施决策如何体现在应用的响应速度和成本上。

我们还讨论了 Erik 从 Spotify 推荐系统到 Modal 的历程、公司如何购买算力、NVIDIA 的替代方案、前向部署工程师，以及为什么在 Modal 代码审查是可选的。跳转到工程文化 →

节目笔记

Modal —— Erik 创立的 AI 基础设施平台。

Erik 的文章 —— 他关于基础设施、市场和创办公司的随笔。

Modal 的 D 轮融资公告 —— 公司最新报告的增长和沙箱里程碑。

Modal 如何实现真正的无服务器 GPU —— 弹性推理背后的启动和扩展技术。

Modal 的资源求解器 —— 它如何在不断变化的价格和可用性之间选择容量。

扩展到一百万个并发沙箱 —— 一份关于沙箱扩展的工程记述。

我们与 Erik 的第一次采访 —— 最初的无服务器基础设施论点。

我们与 Akshat Bubna 的采访 —— 面向智能体的基础设施和开发者体验。

可编程数据中心 —— Evan Conrad 谈 GPU 交易与实物交割。

时间戳

0:00 Modal 做什么

1:25 从 Spotify 到创办 Modal

4:19 在生成式 AI 热潮之前创业

7:43 第一批客户与融资

10:00 为推理和自动扩缩容而构建

13:21 Modal 从哪里获得 GPU 容量

15:39 租用还是拥有基础设施

19:45 GPU 价格下跌的风险

24:18 AI 需求是无限的吗？

26:12 NVIDIA 的替代方案

28:25 Modal 能从 neocloud 学到什么

30:26 GPU 作为一种资产类别

31:55 Modal 的产品：函数和沙箱

36:03 支持更小训练负载的理由

41:21 智能体沙箱正在如何变化

46:48 Anthropic 与沙箱安全

49:29 用智能体测试安全性

52:51 智能体时代的开发者体验

57:45 Modal 的前向部署工程师做什么

59:55 Modal 的产品管理方法

1:03:29 可选的代码审查与工程文化

1:05:56 云、本地部署和自带云

1:09:25 容量、融资与增长

1:13:07 团队扩张

1:17:28 Erik 的推文：临时沙箱

1:18:31 矩形 GPU 合约的问题

1:21:20 推理提供商与模型构建者

1:23:25 模型下一步会在哪里改进

文字稿

根据修订版自动转录；姓名和措辞可能有误。

0:00 感谢你来参加，Modal 的 Erik Bernhardsson。你能简单介绍一下这家公司，也许还有你是怎么走到今天的吗？好。我们构建的，最简单的说法是，我们构建 AI 基础设施。所以我们提供一个计算平台和一个存储平台，让很多客户，比如 Dacagon、Suno、Runway、Cognition 以及许多其他公司，能够构建 AI 应用。所以这在实践中意味着大量的推理、大量的沙箱，有时是训练和微调，有时是批处理任务和其他事情。所以我们基本上构建了一个软件 SDK，让客户能够非常快速地行动并构建这些。我们管理底层的所有容量，让部署、扩展和在生产中运行这些东西变得更容易。所以你大概两年前上过 Light and Space，从那以后发生了很多事。你当时有多大，任何你能分享的数字，以及相比之下，你现在有多大？我其实不记得我们当时在什么位置，但大概是至少 50 倍，收入、用户和用户数都是。是的。我其实把它用在我自己的一个副项目上。不错。是的。就是把 2D 图像转成 3D 模型。是的。所以就是在这里托管几个模型。你觉得怎么样？有什么反馈吗？我是说，我很喜欢。不错。好。我是说，是的，这就是为什么我用它而不是任何竞争对手之类的。好。所以在你创办 Modal 之前，你在 Spotify，还有 better.com，我想。

1:30 没错。是的。是的。你在 Spotify 做什么？我其实在 Spotify 做了很多不同的事情，但我的主要贡献是构建了一个音乐推荐系统。第一个版本是我毕业后在 2008 年、也许是 2009 年加入的，在 Spotify 待了七年。大部分时间基本上是从零开始构建音乐推荐系统，并建立了一个小团队，我们推出了一系列功能，比如相关艺人、Discover Weekly 以及一堆其他东西。所以大量的矩阵分解，大量计算密集型的东西。而且可以说，后来成为 Modal 起源的很多东西，就是构建 AI 应用并意识到基础设施烂透了。一定有更好的办法来做这件事。所以，你知道，Modal 的很多理由就是构建一个我在 Spotify 那些年里一直想要拥有的工具。是的。所以 Modal 更多是你在 Spotify 学到的东西的延伸，而不是来自 Better.com 的。Better.com 算是一段小插曲。那有点像过山车，关于这家公司说来话长。我们另外谈过。但我在 Better 做了五年 CTO，把技术团队从，我想，你知道，两三个人发展到三四百人。所以我学到了很多关于管理、组建团队和招聘的东西，也学到了很多关于开发者生产力的东西。我思考了很多关于工具之类的事情。做了更多全栈的东西。但是的，在那之后，我有点回到了我内心深处的东西，也就是基础设施、AI 和机器学习。Better.com 又是做什么的？抵押贷款。好。是的。你是怎么进入那个行业的？

3:00 我是说，我们不必在那上面花太多时间。是的，不，没关系。比如这个人，Zach Frankel，我当时不认识他，后来把我招到 Better 做 CTO，当时公司有 10 个人。而且，你知道，不管什么原因，你知道，创始人 Vishal，非常有趣的人，非常非常聪明，有点疯狂，主要是积极意义上的。我们相处得非常好。所以我们，是的，我们在 2015 年开始构建它，我花了五年时间发展那家公司，然后，你知道，最终发现做抵押贷款相当难，而且，你知道，疫情后利率上升得非常快，那给公司带来了很多问题。但到那时我已经离开了。你离开是在 2020 年、2021 年左右？是的，差不多。是的。好，所以，你是在有 Modal 的想法之前离开的，还是离开之后才创办的？很难说。我离开 Better 时有很多随机的想法，而且我其实不确定自己想不想创办公司。我只是，你知道，在疫情期间，我几乎算是休了个长假，有两个孩子。我是说，我现在还有孩子，但我是说，当时他们大概是两岁和四岁，所以我决定出去玩一玩，休息了一段时间，有点半职工作，捣鼓某些东西，不确定也许我应该做些咨询，然后我开始构建东西。然后我就对这个最终成为 Modal 的想法超级兴奋。但其实两者都是，你知道，Modal 大概是，我想，我构建的第 30 个，你知道，在那之前有几次尝试都无疾而终。

4:30 但我的模型是这样的，最初的想法是，这挺酷的。我应该做这个。这可能会是一个非常酷的平台。其他想法是不是也类似，比如开发者工具？第一个想法是某种网页抓取的东西，但没做成。不过实际上，事后看来，也许本来能做成。这是在 ChatGPT 发布之前吗？是的。是的。2021 年。哦，好的。所以 ChatGPT 是 2022 年底发布的，对吧？然后我开始构建，所以也许稍微往回倒一点背景，我在 Spotify 工作时发布了一个开源框架 Luigi，它是工作流编排。所以算是同一类，Airflow 和 Prefect 在某种程度上算是过时的类别，人们不太谈论了。但有一段时间，它获得了很多关注。总之，我从未把它变成生意。但几年后，在 2021 年，当我在思考商业想法或要做的事情时，我有点回到了工作流编排。我开始捣鼓一堆想法，比如在云端运行代码，基本上就是编排在云端运行的代码。我意识到，说到底，核心的拼图不只是编排计算机，而是执行计算机。我想，那实际上是个更大的问题。所以某种程度上，我实际上把它搁置了，然后说，实际上，我要去做这边这个别的东西，我会回来的。我会回到工作流调度上。 但是，但是就像，你知道，长话短说，我再也没回去，最终构建了 Modal，它的重点更像是，让我们想办法让在云端计算机上运行代码变得容易。最初的重点相当通用。

6:00 实际上在某种程度上，它总是，我们最近有点绕了一圈又回来了，但我们专注于很多不同的应用。想法是，让我们让在云端运行代码变得超级容易。可以是 GPU 代码、AI、机器学习。也可以是数据相关的东西。并且大量关注，你知道，我们如何扩展它？我们如何让开发者体验很棒？很早就意识到，为了做到这一点，我们必须深入技术栈，构建在文件系统之上、构建在容器运行时之上，做了很多，你知道，解决了很多艰难的工程挑战。然后你提到了 ChatGPT，那实际上并不完全是杀手级应用。但就像，如果你记得，那个秋天，大约同一时间还出现了另一个东西，那就是 Stable Diffusion，而 Stable Diffusion 结果成了我们当时正在构建的东西的杀手级应用。当时我们只有四五个人。所以我们开始看到很多人来找我们，想要运行 Stable Diffusion 模型。然后我们真的，那让我们意识到，也许生成式 AI 推理实际上对我们来说是个非常好的用例。你是怎么发现的？我就是个强迫性发推的人。我现在甚至更甚，比如我太被建公司分心了，但我一直很喜欢发推。我写了很多博客。所以我想我有了一点粉丝。 所以，你知道，在早期，很多推动增长的因素就是我自己强迫性地发推谈论 Modal，谈论我在构建的东西，让人们兴奋起来，写长篇博客文章谈论云计算的走向等等。我称之为有点像创始人主导的营销。我总是觉得你必须倾向于你擅长的事情

7:30 而我擅长的，我想就是发垃圾帖和永远在线。所以，你知道，工作，它仍然像，你知道，我认为我们的很多增长只是我们擅长社交媒体，只是经常在线。不错。多久才有了第一个客户？花了一段时间。另外，你早期融资了吗？我们有一段时间没融资。实际上我自己出资了一段时间，甚至直到最初几个员工，某种程度上这挺好的，因为可能对钱非常节俭，想看到投资回报。我很长一段时间没拿薪水。实际上，某个时候这成了问题，因为我需要钱，但我们有一段时间没融资。直到 2022 年初，我们才融了种子轮。所以那时我已经做了大约一年。Akshat 大约五年前，大概现在八月，也许 2021 年加入成为 CTO 和联合创始人。但然后直到基本上 2022 年底，我们才看到任何有意义的收入。我想这就是我为你骄傲的原因。是的。然后 Stable Diffusion 在我们的案例中是主要的东西，所以我们从，你知道，2022 年 11 月每月 100 美元，下个月我们做到了每月 2,000 美元。然后 2023 年 1 月，我们突然做到了 30,000 美元。 然后，你知道，我终于感觉这块巨大的焦虑从胸口卸下了。我想，也许这真的说明我们找对路子了。感觉我们确实找对路子了。然后2023年我们增长得非常快。

9:00 我想从那以后我们基本上就一直增长得非常快。那个月收入3万美元的时刻，是只靠几个大客户，还是客户非常多元？就一个客户。我不知道我有没有公开谈过那是谁，也不知道他们自己是否知道，但我觉得他们有所怀疑。那是纽约一家叫Mage的公司。他们做的是类似Stable Diffusion的业务。所以你知道，在2023年第一季度某个时候，他们大概占了我们80%、90%的收入。但之后，你知道，收入开始稍微多元化了。2023年底，Soon成为了我们的大客户。有一段时间他们也占我们收入的很大一部分。但后来，你知道，随着时间推移，我们现在的收入多元化其实相当不错了。是的。说到Stable Diffusion那类东西，我记得我用它跑过Comfy UI。我猜很多人都在用Comfy UI，在上面跑Comfy UI工作流。有些人是这样，但我觉得用我们模型的人往往更偏底层一些。他们做的是复杂的东西。他们用模型的方式，一直都很适合折腾改造。所以他们部署了自己的自定义工作流，带适配器、自定义推理和大量优化，而我们为了让开发者体验变得很好所做的一切，结果发现也非常适合跑生产工作负载。因为自动扩缩容其实是一个很相似的问题。你需要非常快地扩缩容器。 所以我们恰好处于非常有利的位置，在早期承接了大量这类工作负载。自动扩缩容的工具当时不存在吗？为什么你得自己造这些工具？

10:30 总的来说，我的论点是，你知道，每一个新的技术时代都会撞上工具的限制。你回头看，无论是Web、云计算、移动端、PC，还是AI，都是如此。所以我认为，工具往往已经存在，但往往并不是特别好用。而且你常常需要重新思考很多这类工具，才能真正收获好处，真正加速并为这个新世界构建东西。你在云计算上看到了这一点，我们不得不发明Kubernetes和Docker之类的东西。类似地，在生成式AI上，你可以在上一代工具之上构建这些东西。你可以在Kubernetes和Docker这些东西之上构建，但这些技术是为一种非常不同的工作负载而构建的。它们是为非常稳定的后端工作负载构建的。请求数量平稳，利用率相当低，因为CPU通常很便宜。所以人们不太担心成本。但现在我们进入这个新世界，你有非常昂贵的GPU，你想管理容量和利用率。你有非常大的模型，需要通过网络加载到CPU再加载到GPU。而结果发现，很多这类工具根本不是为此而构建的。 所以我们觉得，你知道，我们必须重建其中很多东西，构建我们自己的，我提到过文件系统，但过去几年我们也花了很多时间构建一些非常酷的东西，比如CPU

12:00 快照、GPU快照和审计，我们构建了自动扩缩器和调度器，以及各种容量管理工具。我们有点觉得你必须这么做，因为不能在这个新一代软件之上构建，不能为了做新东西而在旧东西之上套一层包装。你有点需要从头开始重来。所以我想问，自动扩缩容这块，你们在平台上有没有看到什么奇怪的行为？你们在扩张的时候有没有什么东西坏掉？我是说，容量时不时一直是个挑战。比如你怎么弄到成百上千、上万、上十万块GPU？这一直很有挑战。我们很早就不得不做多区域。所以事后看，我觉得那是个关键决定，去做这件事，咬牙把它建起来。我们一直把容量管理看作一个大池子。就像全世界一个大池子。我们不把它看作每个区域各自运行的独立集群。所以那是我们早期做出的非常有影响的决定之一，用这种方式来思考。所以我不知道有没有出现过什么具体问题。 我是说，我们显然遇到过 bug，也遇到过宕机，你知道，我讨厌这样，你知道，尽管我非常希望模型能做到百分之百的在线率，你知道，而且我觉得最近我们基本上已经达到了四到五个九，但在模型的发展历程中，当然，我们确实遇到过一些扩展性方面的问题。是的。GPU 市场，嗯，其实在那之前。所以你们底层用的是 AWS、GCP 之类的，所有这些云服务商。

13:30 那你们也会买一些基础设施吗？不，我们稍微聊聊云容量吧。因为我觉得这其实变化很大。比如最初几年我们确实……我们几乎所有的容量基本上都来自超大规模云厂商的现货和按需容量，主要是现货容量，跑在各个不同的区域，你知道，最初用的是 AWS，但后来也用 GCP，随着时间推移。我们很早就开始从 Oracle 租一些容量，因为我们想要八卡 A100 和八卡 H100，而且我们拿到了非常好的价格。随着时间推移，我们又增加了几家云，比如做预留，但，但直到去年年底，我们的大部分容量仍然是现货或一年期预留。现货就意味着你当场租用。没错。而且它还是可抢占的，这一点我们不得不应对。但，但它在 Agria 上还算行得通，因为你可以基本上把来自数百个区域的容量聚合起来。所以，那种模式一直运作得很好，直到我们又开始撞上瓶颈。我是说，首先，随着我们需要更多容量，Modal 开始非常快地增长，但根本上，云市场也开始发生很大变化。 所以过去一年，基本上现在为了获得我们需要的容量，我们不得不与更多得多的云厂商合作。我们目前实际上与将近 25 家云厂商合作。而且在很多情况下，为了获得我们想要的容量，我们不得不签三年以上的协议，而且必须预付一大笔钱。你是在三年期限上锁定价格，对吧？

15:00 所以，你知道，我们不得不花掉整整，你知道，过去六到九个月，你知道，某种程度上重新思考我们如何获取容量。我们不得不建立一个完整的采购部门，比如我们有四个人全职工作，基本上他们所做的就是采购容量、联系 Neocloud、你知道，谈交易、审核容量。我们不得不建立一个完整的工程团队，基本上 10 个人，就只是管理来自世界各地的裸金属容量，处理网络问题、坏硬盘、GPU 从总线上掉下来，以及所有这些事情。我们不拥有容量。到目前为止我们所有的容量都是租的，嗯，你知道，通常是这样三年期的协议。而这是一个重大决定。比如，我们应该买吗，应该，我们应该，你知道，还是应该继续租？其实我对此并不特别教条。我觉得租挺好，因为它有一定的资本效率。如果你买，你知道，我是说，首先，就没有那种运营复杂性。比如你不必，你知道，应付供应商和供货商，还有，你知道，电力、电缆以及各种东西。但还有，你知道，财务上的复杂性。比如，你怎么融资？比如，你应该股权融资吗，你知道，你可以融十亿美元然后去买硬件。 那是一种非常稀释股权的方式。嗯，你可以发债，但你知道，如果你发债，你通常希望有锁定的长期收入来支付利率。那也不简单。但你知道，我们看经济账，我们看，呃，运营

16:30 复杂性，我们看风险。呃，这是一个复杂的权衡，而且我们对购买持开放态度。我们会，我们会，也有其他结构。比如我们，为了拿到 2027 年所需的容量，需要做大量工作，走很多不同的途径来锁定它。那你们是不是得雇很多财务人员来做这些事？真的吗？你知道，我不得不在这上面花很多时间，我们也不得不在这上面花很多时间。而且我确实认为随着时间推移，我是说，有很多，你知道，这些是非常昂贵的资产，呃，硬件。而且，你知道，我觉得，我是说，这有点惊人。你开始看到 AI 投资开始占到美国 GDP 的几个百分点，而且，你知道，开始看到美国的利率在过去几周飙升。我是说，我，在这个阶段，你知道，你去看那些 Neocloud，这些是非常非常精密的金融工程公司。所以是的，我们，我们看这些，你知道，我们看所有选项，而且我们可能也不得不自己做类似的事情。我倒不想，我宁愿专注于做一家非常精简的软件公司，做我们擅长的事情。我不认为软件公司拥有硬资产总体上是什么好事。你知道，就像，你应该拥有自己的办公室吗？ 我不认为这对大多数公司来说一定是正确的解决方案。但当然，为了获得你想要的容量，你知道，一切都可以谈。是的。而且我猜供应在一段时间内都会受到限制。

18:00 所以你在某种程度上不得不这么做。你，你同意这一点吗？还是你觉得这只是暂时的现象？我不一定同意。我是说，英伟达每个月都在交付，你知道，几十万块Blackwell，对吧？而且，我不想说市场是100%有效的，但总的来说，你知道，如果你愿意支付高价，你就能获得GPU容量，对吧？就像如果你愿意比其他人付更多的钱，而且，当然，Anthropic和OpenAI正在尽可能多地买入。但根本上，市场上不断有供应进来。所以我不一定认为这是一个被完全垄断的资源。价格在上涨。我确实认为这值得反思一下。硬件的常态就像，就像脱离重力一样。最终，硬件价格总是会下降。所以我们现在有点处在一个奇怪的时期，硬件价格在上涨。而且，你知道，很难说这会持续多久，你知道，可能是再过六个月，也可能是再过36个月。真的很难知道会持续多久。但我根本上不确定，说你需要购买容量这种说法是否成立，对我来说，这有点像是几乎像疫情期间的卫生纸大短缺之类的。对吧。就像，你知道，至少这像是，你知道，挤兑银行那种情况。 但是，话虽如此，你知道，容量在一段时间内都会很紧张。而且，你知道，价格在上涨。而且，你知道，幸运的是，我认为，这对我们来说甚至不一定就是坏事。如果价格上涨，因为，因为，你知道，稀缺也意味着我们可以

19:30 向客户收取更高的费用。而且，你知道，而且我们有很多以固定价格锁定的预留，这意味着在某种程度上，我们实际上已经锁定了长期的GPU价格。所以我不太担心价格上涨。我更担心的是价格崩盘。我不认为这会在短期内发生。但我认为那对市场上的很多参与者来说会是相当糟糕的事情。为什么会糟糕？我认为这对任何锁定了大量供应的人来说都会很糟糕。是的。因为他们付了太多钱，他们付得太多了，你知道，所以存在在高点买入的风险，对吧？而且再说一次，我不太担心这个。我不认为这会，你知道，短期内发生。但就像，你知道，就像我说的，从非常长期来看，硬件价格倾向于下降。所以这值得，你知道，反思一下，对吧？对。就像现在，我认为，我认为你的容量受到限制，而这导致了，你知道，用经济学术语来说，存在稀缺租金，对吧？谁获取了稀缺租金？我认为主要流向两个地方，主要是英伟达，但当然，也在某种程度上流向Neoclouds，比如Neoclouds，总的来说，你知道，任何拥有容量的人都有更好的经济效益。在容量受限的今天，这无可否认是正确的。长期来看，你知道，从非常长期来看，我不认为这必然完全成立，对吧？ 就像拥有GPU总能获得一点溢价，但这值得冒险吗？你知道，值得冒这种把非常昂贵的

21:00 资产放在资产负债表上的风险吗？我不太确定，但你知道，我们拭目以待，这需要几年时间才能度过。而且，而且，而且从长远来看，你知道，我们可能会拥有一些，可能会租一些，也许两者结合，也许做些其他疯狂的事情，联合导师，谁知道呢？也许一些复杂的SPD之类的。嗯，一切都可以谈。你如何与OpenAI和Anthropic竞争并购买GPU容量？我猜他们想买下所有可用的东西。他们确实如此。而且，我认为你看到的是，嗯，你知道，其中很多，价格上涨。这是否反映了这一点？话虽如此，你知道，英伟达正在出货大量产品。我认为在某种程度上，英伟达也有点倾向于多元化。就像他们不想要，你知道，少量大买家，就像你看到的，你知道，超大规模云厂商获得了一点受限的配额。呃，我认为，你知道，英伟达也更希望看到，你知道，很多Neoclouds和很多替代云，比如获得更多配额。而且我认为，市场上我们看到的一点也是，这更多是推测，但我认为我们看到，你知道，规模较小、合作起来有点风险的云对我们来说更像是机会。就像，你知道，也许英伟达，抱歉，Anthropic和OpenAI，我的感觉是他们更愿意从，从，从可信的部分购买，呃，部分原因也是因为他们必须进行大量训练运行。 所以他们需要非常大的区块，但外面的容量很充足，你知道，在亚美尼亚能拿到32个节点。

22:30 在印度尼西亚能拿到128个节点。你知道，我们就喜欢这种玩意儿。所以我们可以出去，在世界各地拿到大量较小的容量。价格相当不错。是不是基本上只要有人给你一定数量的GPU，那就是你唯一关心的？难道你不在乎，比如它有多可靠，是不是某个破仓库里放着这些东西？我的意思是，有时候确实是个破仓库。感觉是这样，你知道，但不过，我们确实有一份规格表。当我们和供应商谈的时候，第一件事就是发给他们一份规格表。我们说，我们需要这个数量的IOPS。我们需要，你知道，CPU至少得达到，至少得有这么多的，你知道，不管是什么PassMark分数之类的。我们需要看到，你知道，最低的，你知道，南北向带宽，出口和入口。所以我们确实有一份要求清单。我们经常尝试做一个验收测试期，就是拿一个节点，然后随着时间运行和测试，你知道，在某种程度上，这也需要一点盲目的信任。你知道，有时候我们会签下非常大的承诺，你知道，几千万或几亿美元，然后开始和一个我们还不完全了解的供应商合作。 而且，你知道，随着时间推移，我们会看到，你知道，而且，而且，我觉得随着，稍微，有一点，就是我们自己的那种，你知道，就像SemiAnalysis有ClusterMAX那样，我有点觉得我们内部几乎有自己的ModalMAX评分。我知道我更喜欢哪些供应商，你知道，而且，而且，

24:00 我们更倾向于和那些我们见过非常可靠表现的供应商做更多交易，不只是可靠性，还有，当我们有支持问题时，他们是否响应迅速，我们要求的修复问题，周转时间如何。如果出故障了，他们多快能修好？诸如此类。你同意对智能的需求基本上是无限的吗？如果是这样，那你为什么不尽可能多地买下容量？然后，如果你买多了，你可以直接卖给别人。我觉得当有一种稀缺资源时，很容易说，我们就尽可能多买。但我认为，你知道，首先，如果我们今天买了，我们无法利用全部。我们可以利用很多，对吧？但你可以把它卖给其他想用的人，对吧？我认为挑战在于，如果市场上发生了什么事，会有很多相关性同时发生。如果，你知道，价格下降、利用率下降，转售容量的市场也同时消失。 我坐在这里，我极其激进，每天买容量，筹钱去买，你知道，所以总体而言，我非常看涨，但我想指出，你知道，这里有尾部风险。当那些尾部风险发生时，可能会变得非常糟糕。部分原因是，也许我，你知道，我只是老了，我过去见过这些。我其实1999年就做了第一份工作。所以我见过互联网泡沫危机，也见过大金融危机之类的事情。而且，你知道，我想建立一家能存续20

25:30 到30、50年的公司，对吧？所以，你知道，我认为我们现在当然可以出去买下疯狂的容量，试图垄断市场。但是，你知道，你知道亨特兄弟吗？这是交易界的传奇故事。他们试图垄断白银市场。结果惨败。你知道，所以垄断市场，我认为总的来说，可能不是个好主意。但是，我们总体上非常非常激进，但我们在逐步扩大，你知道，按照一个激进的计划，基本上匹配我们的需求增长，匹配我们想在明年年底达到的跑道或运行率。你是只买英伟达的东西，还是也买，你知道，其他类型公司的容量，比如训练它们，我们正在考虑。我认为替代加速器开始变得非常有趣。你知道，讽刺的是，过去五年，也许甚至十年，我每年都在说，你知道，明年将是非英伟达加速器之年。然后我总是错。但我确实认为2027年可能是非英伟达加速器之年。终于，所以我们看看今年我是不是又错了。但我，你知道，这些在某些方面开始得到非常好的分数。我认为，你知道，TPU显然在谷歌内部被非常广泛地使用。似乎运行得很好。我对训练了解不多。我感觉看到的没那么多，但你知道，团队非常优秀。我知道他们在做很多软件方面的工作。

27:00 你知道，硬件在某种程度上确实很难。软件相对来说更容易一些。这让我觉得，你知道，如果我们只是把这些加速器的软件层修好，我觉得它们会有很大的需求。而且我认为从根本上说，你知道，既然英伟达是这么大的瓶颈，我们大概会看到，你知道，更多替代加速器。话虽如此，你知道，管道更下游还有瓶颈。我是说，你知道，还有台积电和ASML，也许那才是这一切更深层的瓶颈。但是，你知道，长期来看，我认为垄断并不总是能持续。所以我认为市场上有更多替代方案会是健康的。尽管我很喜欢英伟达，这一点我要说清楚，我是说，他们显然是一家了不起的公司，产品也很棒。我确实也预计市场会看到更多一些多样性。还有，你知道，像Cerebras和Grock这些东西。是的。你对这些供应商有什么看法？我觉得它们相当令人兴奋。而且，你知道，你能看到它们在某些工作负载上表现得非常好。而且，你知道，有一些很有意思的人在做这种混合的、你知道，分离式推理，他们用英伟达做预填充，用Cerebras做解码之类的。哦，我其实还没听说过这个。是的。还有Grock也是，因为很多东西，你知道，有些东西是计算受限的，有些东西是内存受限的。所以你可以 sort of 混搭。我觉得这相当令人兴奋。在实践中部署这些东西时会变得非常复杂。但我确实认为有很多，有很多，你知道，机会，以及这些，你知道，更复杂的硬件配置。 从这些Neoclouds那里，比如，我不知道，像Nebius之类的，以及它们做事的方式相比

28:30 你所做的事情，你学到了什么吗？我觉得，你知道，Neoclouds非常有趣的一点是，它们怎么能扩张得这么快？我觉得实际上最疯狂的例子是N scale，它从几乎默默无闻，到，你知道，拥有，你知道，随便吧，数百亿美元的项目管道，尽管几乎没有什么容量。Neoclouds怎么能增长得这么快？我是说，基本上，你知道，答案就是，你知道，这也许很明显，但它们做的就是，去找，你知道，Anthropic或者OpenAI以及某个大买家之类的。然后基本上说，嘿，你想买五年的芯片吗？你知道，签这份合同，我们给你一个好价格。然后他们拿着这份合同，去，你知道，华尔街说，看，我们有了这个，你知道，大买家，你知道，他们承诺了价值100亿美元的芯片。我们现在只需要把它变现。然后他们就去筹钱。然后他们，你知道，去找Super Micro和戴尔或者随便什么英伟达相关的，拿到硬件，然后安装。然后，你知道，现在他们就有了，你知道，交付给客户。对吧。所以你有了这种非常漂亮的金融构造，基本上可以预售你甚至还没买的东西。这意味着，你知道，你可以极快地扩张。所以这就是我们在这些Neoclouds身上看到的，就是，它们可以非常非常好地扩张。 我觉得是Modal，因为我们一直更偏向PLG，而不是那种，你知道，以同样方式锁定长期合同的能力，从财务角度看，要那么快扩张会更有挑战一些，尽管我认为，你知道，长期来看，我们会达到

30:00 同样的点。但我觉得看到这些Neoclouds，尤其是像CoreWeave和那些大公司，是件很迷人的事。它们在，你知道，如何筹钱以及如何，你知道，把GPU当作贷款抵押品这些事情上非常非常精明。那有什么相关性，比如，我忘了是谁，但好像某家金融公司说，哦，我们要把，哦，我想其实是英伟达。实际上，他们说，我们要把GPU变成一种资产类别。这只是因为他们需要筹钱，然后他们在想办法从哪里弄到钱吗？比如，那有什么相关性？我是说，有一堆初创公司。我不知道你是不是在想那个。有像Silicon Data和computer exchange，还有Orn，以及，以及另外几家，基本上就是试图，你知道，创建价格指数和指数，交易衍生品之类的。我觉得这很有意思。比如，我觉得对于算力，它确实，算力作为一种资产类别有一些挑战。它绝对不像其他资产类别那样同质。你有不同的网络、不同的地点，以及，以及不同的磁盘和CPU之类的东西，还有可靠性。我是说，话虽如此，你也可以对石油说同样的话，而我们某种程度上把石油变成了，你知道，相对商品化的、你知道，可交易的资产。 这还有待观察。就像我确实认为，你知道，在我们如今AI的规模下，比如数据中心和GPU部署，我们确实需要在风险对冲、如何分担风险这些事情上更聪明一些，你知道，

31:30 更多地采用保险之类的方式。所以，我非常高兴大家都在大量思考这个问题。话虽如此，我并不完全确定我们是否会看到，你知道，GPU变成那种，你知道，不管是什么，类似Henry Hub、布伦特原油那样的，你知道，超级商品化、可交易的资产。是的。我想把话题转到Modal沙箱上。是的。我猜在我们这么做之前，Modal有哪些不同的产品？我想主要产品显然就是GPU。然后你有Modal沙箱。还有别的吗？我认为我们的两大产品基本上，第一是Modal函数，第二是Modal沙箱。所以，Modal函数，你知道，我们早在2021年就推出了。当时的想法是，无服务器函数非常容易部署、非常容易扩展，而且我们管理所有容量。结果证明它对推理非常非常好，对管理GPU和在上面运行东西也非常好。但实际上我们从来没有过，你知道，专门的推理产品或GPU产品本身。我们从来没把Modal想成一家neocloud，我觉得有被吸进那个方向、变成一家neocloud的风险，就是只卖，你知道，我认为那种矩形的东西，比如这里是一份三年期合约。你拿到这么多GPU。 Modal一直很擅长，比如你部署了某个东西，你就能把它扩展起来。你有这种周期性的或突发性的负载。我们管理所有容量。美妙之处在于，因为我们有成千上万的客户，

33:00 我们可以把容量聚合起来，得到非常平滑的工作负载，你知道，非常平滑的聚合需求，我们可以非常非常高效地管理它。所以Modal函数是核心。我们在2021年推出了它。就像我提到的，我们在2023年开始看到产品市场契合。而现在，你知道，它大约占我们收入的2/3，赋能了很多，你知道，实际上主要是推理，但你可以把它用于各种其他东西。Modal沙箱，我们在2023年推出。实际上，你知道，它花了段时间才看到产品市场契合，和函数类似。我们为什么推出它？我们意识到，很多我们交谈过的人在用LLM输出代码。这就像我和Akshar某天吃午饭时聊到的。我们想，也许他们需要一个地方来运行那些代码。然后我们意识到，实际上，我们已经有大量基础设施可以直接拿来运行代码。因为我们已经构建了管理容器和隔离的原语。我们已经有，你知道，gVisor和隔离原语之类的东西。所以我们对这个想法有点兴奋。Akshar写了个原型，基本上一天或两天就推出了。零。我们看到的增长非常少。我不想把它说得微不足道。因为我们确实看到了一些增长。有一些，你知道，而且那是2023年。所以是的，那是2023年。而且，你知道，有些人用上了它。我们有一些早期用户在某些事情上挺喜欢它。 但总的来说，进入2023年夏天时，它还是一个相当微不足道的收入来源。所以两年后，我们甚至讨论过，我们还需要这个产品吗？

34:30 我们该不该关掉它？然后它就开始爆发了。所以是2023年。我认为2023年真正发生的是，LLM在生成代码方面变得非常好了。2023年。2023年。我是说，大概就是那个时候。我感觉那就是它们从能重构函数、写代码片段，变成能生成完整应用的时候。对。于是我们开始看到大量增长来自vibe coding，你知道，像Loveable这样的公司和其他一些。然后，你知道，像Ramps这样的公司开始用Modal做后台智能体。接着我们开始看到来自多家Neolabs的巨大增长，它们在Modal沙箱上做强化学习之类的事情。所以沙箱现在大约占我们收入的三分之一。你知道，我们把它基本上当作我们的第二产品。对我来说，这真的很令人兴奋，因为即使在Modal的早期，我一直知道Modal，你知道，是关于打造一整套产品工具包。我们一直想几乎像一朵云，你知道，你有存储和计算，以及一堆不同的使用方式。我们一直想成为多产品厂商，但这在实践中直到现在才真正实现。我觉得现在这已经有点清楚了。我们有函数，我们有沙箱。我们还在做一堆其他东西。我们在做训练，在做批处理，我们还在做一堆其他东西。所以对我来说，这种演变成多产品公司的过程，我觉得太棒了，因为这一直是愿景的核心。 甚至在最早的演示文稿里，我就有一堆关于这个的幻灯片。但直到最近，它才真正与外部世界相符。

36:00 你有没有在做的、你认为会成为下一个类似产品的东西？也许对市场有什么预测？诸如此类？我是说，我非常看好训练。我认为训练算是一个服务不足的市场。显然，大家对超大规模训练运行有很多关注。但我们实际上看到了大量需求，来自规模较小和中型的训练细分市场。所以我这周晚些时候会稍微谈谈这个。我们正在组织一场会议。批处理我认为是一个很有意思的市场。我觉得我们看到了很多需求，来自那些需要……你知道，前几天我们有个客户需要转录，你知道，5000年的音频。他们有，你知道，数以百万计的音频文件。而我们有很多容量。所以我们让他们做了，你知道，花了几天时间。我认为那里有一些非常有意思的用例。非常看好低延迟的东西。我认为会有很多，你知道，一旦我们让音频，比如语音到语音模型跑起来，比如语音模型。我有点预期那会是一个非常有意思的市场。然后当然，还有所有这些智能体之类的东西，对吧？在某种程度上，我对智能体这个词感情复杂，因为我觉得在某些方面，我认为所有软件都会变得智能体化。所以对我来说，这几乎就像是，智能体化到底意味着什么？我觉得所有软件在某种程度上，都会随着时间变成AI驱动的。 但显然，有一组构建模块，你知道，用来做更多由LLM驱动的软件，这似乎，你知道，在所有不同用例中都是共通的。

37:30 而我们就像，你知道，我对模型的思考方式是，我们做的是构建模块的生意，你知道，我们想给你很棒的、可泛化的、经过实战检验的、你知道，通用的、可组合的构建模块。而且我觉得还有一些非常有意思的东西，比如，你知道，在智能体用例方面。这很有意思。你提到训练，因为我觉得在另一个播客里，也许大概一年前，也许大概两年前，你说过你并没有特别专注于训练，比如市场上发生了什么变化？我是说，我们多年来断断续续地在做一个训练产品。所以我不会说我们，比如，我们从来没有专注于它。但这就像，就像那些事情之一，我们就像，我是说，现在我们比如有150名工程师，但你知道，一两年前，我们的工程师人数少得多。所以，但仅仅因为，你知道，规模更小，我们不得不稍微更专注一些。于是推理成了我们唯一的焦点，并且多年来一直是我们的唯一焦点。但我们现在更大了。比如我们，我们，我们确实有机会也在其他市场下注。我也真的很感兴趣，你知道，继续列下去。训练后、强化学习。我觉得那方面有一些非常令人兴奋的东西。我觉得还有很多其他东西，比如围绕存储、构建数据仓库和特征存储、实时流式管道以及各种，我不知道。 我认为Modal的长期愿景基本上就像是，你想构建一些酷炫的AI玩意儿，你知道，我们帮你搞定，你知道，我们有所有构建模块，比如计算任务等等，我们会帮你，你知道，把所有这些构建模块组合起来。

39:00 这就是软件的美妙之处，就像你，你知道，只要有正确的构建模块，你几乎可以构建任何东西。所以那非常是我们想要构建的公司和产品。你说训练的时候，你更专注于做大规模训练运行的大企业吗？不，不，他们会去，比如，你知道，做那些，你知道，大型的、超大规模厂商或者说是Neo，Neo云的大交易，拿到，你知道，10万块GPU之类的。但是，但是，但是在我看来，有一个稍微服务不足的市场，你知道，比如研究人员在迭代，或者人们在训练更小的模型，有，你知道，德州海滩和语音、文本模型，计算生物技术实际上是我们看到大量需求的一个市场。我们在那个领域有很多客户在训练相对，你知道，适度的模型。你可以在64块GPU上训练之类的，推荐系统，很多那种传统机器学习。有很多东西，你不需要，你知道，10万块GPU。那个市场，我认为，我们暂时不会专注于那个。但是，但是我觉得在，你知道，稍微小一些的市场里有很多东西，那些市场相对服务不足。搭建训练集群非常难。是的。你有没有注意到，比如自从，我不知道，比如GLM 5.2或者，也许比如，can we 2.5，你知道，很多人在用那些并微调它们？如果说有什么的话，我实际上看到了相反的方向。 我觉得几年前微调价值主张的时候，情况大概是：对，你知道，开源模型，它们没那么好。但是，你知道，如果你拿一个小模型，在你自己特定的

40:30 领域上微调，你其实可以在质量和成本上达到前沿水平。今天我会说，开源模型已经好到基本上你可以直接替换掉它们，直接跑，你知道，不用跑前沿模型，你可以跑 Kimi K3 或者随便什么，DeepSeq 4.1 或者 GLM 5.3。它们基本上几乎和前沿模型一样好，成本却低得多。所以我们仍然看到大量后训练需求。我确实认为这是一个非常有意思的领域，我们正在这个领域做一些产品，你知道，既有 SFT，也有强化学习之类的。我还想说，你知道，微调不再是你必须做的事情了。它非常可选。你可以直接用开源模型，开箱即用效果就很好。说回沙箱。我忘了问你。你们提供的沙箱，有哪些是现有沙箱做不到、你们不得不更新的？没有太多。我觉得我们一直非常非常擅长的事情，我是说，我们是基础设施极客，对吧？我们非常擅长扩展性、可靠性以及做很多这类事情。我认为这在很大程度上解释了为什么我们拥有，你知道，在我看来，我没有具体数字，但我认为我们在这个领域拥有迄今为止最大的市场份额。我们就是非常擅长运行，你知道，几十万甚至上百万个沙箱。是的。 我要说，我们不得不，我们不得不重写我们的系统，你知道，好几次，才能应对那种规模。

42:00 但我们一直很擅长这件事。还有其他一些东西，随着时间推移。我是说，沙箱这个领域总体上，你知道，它不是最有差异化的领域，但你知道，我们正在做一些非常酷的东西。比如随着时间推移，我们不得不增加对 VM、虚拟机的支持。我们之前的沙箱产品是建立在 GVisor 上的，但现在我们也提供完整的虚拟化机器。结果发现，对于某些用例，你确实需要完整的 Linux 兼容性。我们还不得不构建其他东西，你知道，更好的原语，比如更交互式的，你知道，在沙箱之间来回传输数据、处理文件系统。我们不得不在快照上花很多时间。我认为从长远来看，很多能形成差异化的东西会是，你知道，非常酷的东西，比如，你知道，分叉沙箱、快照、恢复快照，比如实时迁移。总的来说，我觉得沙箱，沙箱的新颖之处始终是，你知道，这种短暂性，比如你可以在几秒钟内启动沙箱。这是我喜欢的东西，是我想进一步挖掘的方向。我认为你可以做很多非常酷的事情，你知道，比如把智能体和执行框架解耦，把它和沙箱解耦，让智能体控制许多沙箱，分叉沙箱，你知道，对东西做快照，比如基本上运行非常短命的，也许每条命令一个，诸如此类。所以我认为那里有很多很酷的东西。我们已经花了很多时间做这些，你知道，围绕快照。但我认为那里也有很多很酷的东西可以构建。 你几次提到快照。

43:30 你觉得快照的用例是什么？它能给我们带来什么现在没有的东西？对我来说，最重要的一点是，今天很多沙箱工作负载有点像平移搬迁。人们想沙箱的时候，几乎就像，你知道，我有我的开发机，现在我要把它塞进云里，我要让一个智能体控制它，也许我会在沙箱里运行执行框架。我不知道长期来看，这是不是思考智能体算力的正确方式。我认为一个更好的模型是，你会有这种非常长时间运行的智能体，在我看来它们几乎就像持久执行工作流。它们会运行，你知道，7×24 小时，你知道，每隔一段时间它们会运行命令，而你知道，能够比如在 100 毫秒内启动一个沙箱，运行几条命令，然后关掉它并做快照。我认为你越快完成这个，你知道，唤醒、休眠的循环，你就越能创造出只运行非常短时间的沙箱，这会让算力效率高得多。它还会让你能做很多非常酷的事情，你知道，比如分叉和移动东西，还有，你知道，想象一下，比如 Claude Code，不是那种非常线性的流程、顺序流程，而是分叉，并且同时运行数百个智能体。我觉得 CI 也是一个很好的说明性例子，在 CI 的大部分历史里，你知道，说的是 GitHub Actions 之类的。

45:00 就像你有一个非常顺序的流程，比如，你知道，你慢慢安装一堆东西，然后运行测试套件，然后，你知道，生成一些报告之类的。看起来你可以把它拆成分片，但这有点烦人。比如我很想做的是，把你的整个测试套件拿来，让每一个测试都在它自己的沙箱里运行，对吧？比如，然后把它疯狂并行化到大约一千个沙箱上。为什么这做不到呢？我的意思是，问题在于有太多开销，比如，你知道，启动和停止沙箱的开销太大。所以我认为，你越是创造那种，你知道，无摩擦的启动和停止，你就越能进入一个世界，在那里你可以做这种极度突发性的、大规模的事情，比如你想并行运行多少就并行运行多少。所以，你知道，我是个基础设施极客，就像我说的，我对这些东西非常兴奋。你知道，一旦我们弄清楚所有这些原语和正确的构建模块，我认为它将解锁很多非常酷的东西，你知道，这些是我们以前用软件做不到的。为什么这还没有被建出来呢？我会以为即使以前人们也会想尽可能并行化他们的 CI。你做不到，但开销，就像阿姆达尔定律之类的。对吧？比如现在并行化的开销非常高，因为比如现在，你可以用 GitHub Actions，例如，我们在 Modal 测试套件里做了并行化，对吧？但这基本上意味着，现在如果你把你的测试套件分成两份，那么每个分片都需要做所有的安装和测试设置。而这要花很长时间。比如可能要花几分钟，但假设你可以只做一次测试设置

46:30 然后你对容器做快照，现在你克隆它，现在你就可以独立地运行测试套件了。我认为很多好处无法，你无法把这些好处变现，直到你把摩擦和开销降下来，也就是交易成本。我觉得你们和 Anthropic 有合作，他们在用沙箱做些什么，比如 Modal 沙箱。是的，我是说 Anthropic 的托管智能体，这算是自带沙箱的集成。所以你可以用 Modal 来做这些，是的。那是怎么促成的？比如怎么来的？我觉得 Anthropic 在试图打造一个繁荣的生态系统和社区，所以我觉得他们从推理中赚钱，对吧？好。我觉得推广其他一切、尽可能大的生态系统非常符合他们的利益，他们想要尽可能大的覆盖面，只要你在推理上用 Anthropic。所以我觉得他们和我们合作、把我们作为沙箱提供商是非常合理的。另外，我觉得我们得提一下 Hugging Face 事件。你方便谈这个吗？可以，可以，我是说，都在那儿了。是，是。那你能不能简要描述一下发生了什么，我觉得他们当时用的是 Modal 沙箱，但那不是你们的，你知道，那不是沙箱的错。没错。我忘了那次利用的所有细节，但我是说，你知道，我觉得你指的是 Modal 被卷入这件事。是的。所以，你知道，就对此评论一下，基本上就是运行在里面的智能体，

48:00 你知道，那个利用了 Hugging Face 的，他们发现了一个部署在 Modal 上的应用里的漏洞，他们利用它来，差不多就像跳板一样获取访问权限，据我理解是获取完整的互联网访问权限。我不记得全部细节了。说清楚一点，这是一个运行在 Modal 上的应用被黑了。不是 Modal 被黑了。所以就像 AWS，很多人在 AWS 上跑东西，偶尔那些应用会被黑。这难道意味着 AWS 被黑了吗？当然不是，对吧？所以有很多人在 Modal 上跑应用，你知道，其中一个应用被黑了。我觉得，但我们可以从中吸取一些教训，我觉得我们一直在反思的一件事是，我们能不能默认就有更合理的安全限制，我觉得用 AWS 的类比，再打个比方，你知道，S3 以前是，你知道，以前很容易不小心把 S3 存储桶设成公开，AWS 意识到，你知道，这不一定导致，你知道，对 AWS 本身构成安全问题。但他们的很多客户会不小心，你知道，泄露数据。所以 S3 现在要公开存储桶难多了。所以类似地，我们也在探索，你知道，我们能不能让安全默认更受限一些，而不一定，你知道，破坏让 Modal 出色的魔力。我觉得还有，你知道，这算是另一个岔开的话题，就是智能体在网络安全方面越来越强了。所以我们实际上也，作为一种，你知道，

49:30 从这次事件中单独总结出一些经验教训，比如我们内部已经开始大量使用智能体来尝试寻找漏洞，到目前为止还没有发现什么，但它们非常擅长探查系统非常深层的部分，并尝试利用、试图利用一些东西，试图提权并逃出沙箱。所以，你知道，这是我们目前正在非常积极地探索的事情。你具体是怎么让智能体去跑代码库的？你就是说，嘿，去找安全漏洞？嗯，不是，你就是，你就是把它们放进沙箱里，然后告诉它们，你能试着解释一下吗？就直接跑一遍逃出沙箱。这就像密室逃脱，不过是给智能体玩的。酷。你什么时候开始这么做的？我们几个月前开始的。而且挺令人兴奋的。比如 Fable 出来的时候，我猜。对，大概同一时间。好。我是说，我对网络安全的看法是，你知道，我其实觉得它们非常擅长发现漏洞，但我觉得你也可以很好地防御性地使用它们。所以我，我，我觉得，你知道，像 Modal 和现在很多其他公司，我觉得，你知道，如果你去跟几乎每一个系统聊，我敢肯定他们都在想同样的事。比如我们怎么防御性地使用智能体来，来，来，你知道，修复我们所有的漏洞？所以随着时间推移，其实在某种程度上，我没那么紧张。我觉得如果说有什么的话，智能体和网络安全，网络安全方面的所有突破，如果说有什么的话，会让世界更安全。你觉得所有网络安全，大型网络安全公司是不是都完蛋了？我不知道那是不是真的，因为我是说，你问的东西非常

51:00 超出我的核心专业领域。但当我想到网络安全时，你卖的很多东西实际上就是恐惧。这几乎就像是一种品牌和营销策略，不亚于，你知道，显然的核心产品。但我觉得，你知道，品牌和诸如此类的东西在 AI 时代可以说更有价值。所以我不会贸然下结论说它们完蛋了。我觉得它们有，你知道，与企业客户的深厚关系，而且它们有，你知道，庞大的销售团队，非常擅长讲，你知道，吓人的故事之类的。我觉得它们会继续非常擅长这个。我这么问只是因为，对，你们自己就在做，你们不会去找 Palo Alto Networks 之类的公司。但我想这只有巨型企业才在乎。而且，如果出了什么问题，他们可以怪别人。确实。对。对。在很多情况下，你就是想雇一个成熟的供应商，好把锅甩给他们。我是说，在某种程度上，这确实稍微减少了我们做，请渗透测试员，人类渗透测试员的需求，大多数初创公司都会定期做。所以也许以前，你知道，我们会做，我其实不知道周期是怎样的，但我觉得我们以前大概每六个月做一次。也许现在我们只需要每年做一次。我不知道。但是，但我觉得，所有这些事情，你知道，人类也可以用它们来提高效率。所以就像，你知道，我不知道，我也有点相信，人类加上 AI 现在更强大。所以也许有一种论点认为，我们可以请那些

52:30 非常擅长使用智能体的渗透测试员，你知道，更快地找到漏洞。我不知道。我没那么，你知道，我是个乐观主义者。我创办了一家公司。所以就像，你知道，我总体上对一切都很乐观。但就像，我当然不认为人类完蛋了，或者公司完蛋了。就像我觉得在 AI 时代，很多公司会弄清楚，你知道，如何利用 AI 变得更高效。我想稍微转到开发者体验，因为早期，我是说，甚至现在，你们都很关注这个。我是说，你谈了很多。开发者体验现在还重要吗？我觉得仍然重要。而且我觉得你有点，你知道，就像背景，我觉得你说得对，你谈的东西就像，现在有了智能体，对吧？就像开发者体验，文档已经在那儿了。智能体会去看文档，所有那些东西。不过说到这点，几乎所有让开发者体验好的东西，也让智能体体验好，这大概就是我们在实践中看到的，比如有好的文档、有描述性的错误信息、有快速的反馈循环，对吧？就像，我确实觉得有些东西变了。前几天我在用 Cloudflare 设置一些东西，我觉得 Cloudflare 有时候用起来出了名地烦人。然后我扔了个智能体过去，它就能直接配置一堆，你知道，东西，还帮我处理了。 而且，你知道，所以我要说，就像智能体那样，它们确实让处理过去比较难处理的事情变得稍微容易了一些，你知道，比如处理 AML 的那种人力负担可以说稍微下降了一点，因为你可以直接，

54:00 你知道，让你的智能体去处理。但是，但总的来说，我觉得，你知道，那些让开发者体验好的东西，也让智能体体验好。我觉得在某种程度上，还有，基础设施随着时间推移，无论如何都会变得，它需要更加程序化。我觉得这一直是关于沙箱的论点，就是，你知道，那些你以前不得不用 YAML 配置的东西，应该直接就是一个 SDK。那应该更偏向命令式，比如启动一个沙箱，用它做事情，拆掉沙箱，对吧？而不是用某种声明式的方式，用，用，你知道，某种 DSL，它还推出了一种以前可能不存在的不同接口。我觉得无论哪种方式，SDK 都和以前一样重要，甚至更重要。你们的产品里有什么改变吗？就因为，你知道，大多数人只是在上面跑智能体？有的。我是说，我们也，我们实际上也做很多内部测试，我们有智能体，我们让智能体去，比如构建一个移动应用并运行它。而且，一个很具体又有点好笑的事情是，我们实际上看到，因为智能体的训练数据，现在要弃用东西非常难。我们看到，智能体往往喜欢，你知道，喜欢使用旧版本的 modal 语法，而且要把它们引开有点难。 所以我们实际上不得不稍微更保守一些，你知道，在过去一年左右，在弃用和移除功能方面，我们必须非常小心地更新网上每一个示例

55:30。是的。而且，而且，而且，你知道，技能，对吧？是的，有类似那样的东西。但是，但是，还有，现在网上也有数量惊人的 modal 代码，这些也会进入训练数据。我见过，这算是一个，你知道，有点意思的例子，顺便说另一件事，显然就像类似于搜索引擎优化，有所谓的智能体引擎，你知道，不管人们怎么叫，智能体优化。我们经常跑内部基准测试，我们会问智能体，比如，嘿，你能帮我们部署一个 stable diffusion 吗？用你想用的任何工具。然后我们看它是否推荐 modal。这些事情对我们来说非常有用，可以随时间追踪。或者比如，嘿，启动一些沙箱，或者比如，嘿，给所有沙箱供应商排名。所以我们花了很多时间做这些事情来确保。你们对此怎么做？是的，你说，嘿，你知道，构建这个 stable diffusion 的东西，它推荐 modal 吗？是的，你们对此怎么做？是的，我觉得那更难。我觉得，你知道，就像搜索引擎优化，我觉得主要通过内容，就是你必须发布大量内容。 在某种程度上，你也可以，比如稍微看到认知，我觉得，你可以问智能体，比如，你知道，按可靠性给所有沙箱供应商排名，或者按价格给所有沙箱供应商排名，然后看看，而且确实感觉智能体更容易，比如误解定价，还有，你知道，类似的事情。所以我们也花了很多时间，只是让内容更清晰

57:00，更，你知道，让智能体更容易理解，因为我们知道它们都在索引，比如网上所有存在的东西，所有谈论 modal 的东西。你有没有想过，比如，做一堆 GitHub 仓库，让智能体在里面写一堆 modal 代码？你试过吗？垃圾内容大炮。我觉得事实是，那大概是你确实可以做的事。我的猜测是，如今的 LM 训练数据大概对，比如，AI 输出本身相当不敏感，你大概可以制造大量垃圾内容。比如我们想过，比如，我不太喜欢那个主意。但是，理论上，就像，你知道，早期的 SEO，而且在某种程度上至今仍然如此，自动生成的内容是一种非常有效的策略。我觉得这是可能的。比如，你知道，你也可以做那些事情。是的。我想转到 FDE。据说你们雇了，比如前向部署工程师。比如，你们做什么？我们处在一个构建应用的新时代，而且，而且，而且，你知道，那些我们几年前，你知道，还无法构建的东西。我们看到很多公司，你知道，它们需要一点帮助，对吧？比如，你知道，所以我们几年前开始投资 FDE，但真正是今年，规模大幅扩大了。 我想我们今年开始时大概有四个FDE。现在大概有24个左右。所以我们已经大幅扩充了。他们做的工作，你知道，更多是，并不完全是那种驻场模式，但他们做很多繁重的、你知道，那种客户对接工作。比如他们和很多客户一起做性能调优，尤其是LMS。我们看到，坐下来

58:30和客户一起训练草稿模型、调整参数、DLM和SG Lang，能带来很多好处。他们经常，你知道，修bug或者不是修bug，而是，你知道，当客户遇到问题时，他们经常和客户一起想办法，比如我们怎么绕过这个问题？或者我们用FDE做的另一件事是，你知道，主动地，比如，如果我们看到某些客户在模型上过度配置，比如客户申请了太多CPU或太多内存，那会相当昂贵。我们试着抓住这些情况，试着和那些客户坐下来谈，比如，你现在在模型上花了很多钱，我们其实可以帮你省钱。当然，还有在活跃交易中，你知道，我们帮他们从其他平台迁移代码，诸如此类。我想，你知道，我们从来没有打算变成服务密集型业务。我觉得FDE的目标是，你知道，第一是参与，你知道，销售流程和促成交易。第二是服务客户，做一些，你知道，客户支持。但我觉得实际上最重要的是第三点，弥合产品中的缺口，之后我们想把这些缺口变成真正的功能。 所以我觉得在很大程度上，你知道，FDE做的任何事情，你知道，我的问题总是，长期来看，我们怎么把它变成产品，这样就不需要FDE来做这件事了？是的。你们招PM吗？

1:00:00产品经理？是的。不。你会说这些FDE算是某种伪PM吗？这有点是不同的职能。我觉得当然在更，你知道，面向客户的一侧，他们是，但在更，你知道，内部的一侧，这算是产品管理中分开的一部分，更多是关于Modal接下来应该投资哪些构建模块，你知道，然后中间还有一类，你知道，看大概10、20个不同客户，他们都在要稍微不同的东西，但也许模式是什么？我们怎么把它变成产品？我们确实有人和我们一起做产品，而且它算是演变了，你知道，我们有过一些人基本上在之前是DevRel或工程师之后成为产品经理，并展现出很强的能力，能非常战略性地思考我们必须构建什么。所以我其实并不反对产品管理。我确实认为过去很多公司太急于招产品管理、产品经理。我觉得有一种风险，你能在很多产品中看到，某些产品你能看出来，就是有急切的产品经理，他们只是想到一些，那种，花哨的小东西，然后就发布出去。我觉得在一家基础设施公司做好产品管理非常、非常难，因为我觉得它需要非常深的，你知道，战略思考水平，思考比如，基础构建模块是什么？ 我们想在一到两年后达到什么位置？因为事实是，构建基础设施非常难。我们怎么确保最终不会变成35个功能，它们

1:01:30看起来有点相似，但都做稍微不同的事情。那种层次的思考，你知道，非常罕见。因为这个原因，我们还没有积极地尝试建立一个产品管理团队。是的，这有道理。你会说你的团队自Genialite以来可能如何演变？因为我猜，是的，我的意思是，你显然在Spotify工作过，你有某种团队结构，现在有了编码智能体，你的团队结构是否演变了很多？有趣的是，是的，我确实认为团队结构变化了很多，但我其实不确信是Genialite推动了这一点。我觉得特别是，我经常看到的一件事是，有一种关注，像是摆回做IC，我其实认为这对整个领域非常、非常积极。我觉得，你知道，如果你回顾这个领域10年前、20年前，每个人都想进入管理层，因为那是获得更多钱、更多认可和更多声望的方式。我觉得这种转变其实在Gen AI之前就开始了，但我确实认为它被AI大幅加速了。比如，你知道，我们向Modal的每个人明确表示，经理或IC，声望上没有区别。每个人都只是技术员工。你知道，归根结底在于你的贡献，我们看到很多前经理，你知道，变成IC，因为他们想回去写代码。 于是，你知道，出现了一种转变，人们不再那么看重非技术型管理者。

1:03:00 每个人，包括我，我仍然在 Modal 写很多代码，Akshath 也是，技术团队里几乎每个人，还有很多不在技术团队的人，也仍然在写代码。所以对我来说，这像是一种近期的现象，但我其实不确定它是否一定是生成式 AI 带来的，不过我认为生成式 AI 极大地加速了这一趋势，因为它进一步降低了写代码的成本，让写代码变得更容易。那么，如果有非技术人员提交代码，你们怎么审查？你们怎么做代码审查？我们会做代码审查，但我们认为它是可选的。我的看法是，对大多数人来说，代码审查在很大程度上，很多时候只是人们试图逃避把东西合并到生产环境的责任。如果你有那种文化，那对我来说，这就是一个信号：你需要在 CD 和 CI 之类的东西上投入更多，尤其是 CI，还有 CD、容器集成，因为那是部署。我们会做代码审查。比如我写代码时，偶尔会问作者，这符合你对事情的思考方式吗？我希望我没有从根本上改变架构，但我们也在内部明确表示，代码审查是相当可选的。而且，如果你只是改文档，如果你只是做一些基础的事情，就不要等人类来看，尤其是在 AI 时代，为什么每一段代码都需要人类来看？你不需要。但这确实要求你在内部对测试等方面有非常好的控制，

1:04:30 没错，正是如此。比如，基础设施公司，我们需要比普通创业公司多一个九，对吧？就正常运行时间而言。但这些是你必须做的投资。你必须构建对……非常有韧性的系统，你必须在所有地方设置速率限制。你必须解耦系统。你必须确保没有任何东西是单点故障。它们必须有极好的测试覆盖率。如今智能体其实非常擅长写测试，这在几年前，我认为是智能体缺失的主要能力之一，现在它们其实相当擅长，因为我认为写好的测试需要稍微跳出你正在做的事情，几乎要扮演一点反方角色。但现在它们写测试也相当不错了。所以我认为所有这些都有帮助。你们用前沿模型来写代码，还是试验过开源模型？我们什么都试验。但没错，你知道，最初大量用 Cursor，然后当然还有 Claude 和 Codex，现在很多人用 Nightshift 和所有这些开源的东西或其他技术栈。所以我不一定有强烈的观点，我希望人们去试验、尝试不同的东西，我们既用前沿模型，也用开源模型，我们现在正尝试在内部多做一点 dogfooding。既然我们实际上在为很多开源模型运行推理，而且规模非常大。我认为在大量智能体开发中使用某些内部端点也有帮助。 所以我们试着稍微推广这一点。我读到过一些东西，大概是，我不知道，一年前，也许两年前，

1:06:00 你说过你认为你们不会有很大的本地部署业务。你也许改变了看法吗？不，我没有改变看法。我认为，对我来说，我是 Claude 最大化主义者，也许退一步说，当云在 2008、2009 年左右出现时，我的第一反应是，这太疯狂了。为什么我要把自己的代码拿到别人的电脑上运行？这太疯狂了。然后大约六个月后，我就在这么做了。我认为，你知道，我花了六个月才改变想法。企业大概又花了 15 到 20 年。但你看像 Snowflake 这样的供应商，或者 AWS，我认为有很多例子，Datadog 等等。云显然在赢，对吧？多租户系统显然在赢。而对我来说，本地部署看起来越来越像一种遗留的商业模式。我其实认为，BYOC、VPC 对等连接，所有这些，对我来说，它们反映了一种过时的安全模型，就是我们需要保护自己网络内的一切，对吧？把网络当作一种模式。而我认为这已经不再成立了，对吧？我们已经转向更真正稳健的安全范式，比如零信任之类的东西。所以对我来说，BYOC 和那些东西，它们看起来越来越

1:07:30 像是过时的，至少从安全角度看是这样。从我们的角度看也是如此，比如我们对整个基础设施栈拥有完全控制权，我们租用所有硬件，我们部署、我们管理所有基础设施，我们部署并管理健康状态和观测，你知道，所有指标和所有主机。这意味着我们可以非常快速地迭代并打造更好的产品。我认为这非常有价值，相比之下，你知道，过去那些拥有企业版的客户必须部署在客户环境中，他们必须非常，你知道，他们必须非常仔细地考虑发布管理之类的事情，而我们不在乎。比如如果我们想引入一个新数据库，我们可以引入一个新数据库，因为我们对它有控制权。我们不需要考虑客户能访问什么。所以对我来说，多租户，是的，有很多不同的好处。我的意思是，话虽如此，你知道，如果我们未来要和，你知道，某个非常大的财富500强客户合作，你知道，他们要求BYOC，你知道，我们过去做过这个，我们会给他们报个价。你知道，那个价格非常高，到目前为止没人答应过。但谁知道呢？你知道，如果价格合适，我还是会做。而且我认为，也许另外还有一件我觉得有趣的事，就是理论上BYOC也可能是一种合作方式，并在某些方面获得容量。比如我们有时和Neolabs合作。那些Neolabs已经有非常大的容量预留。你知道，问题是，你知道，我们如何，如何让他们在已有容量的情况下运行Modal？BYOC可能是一个解决方案。 我们仍然可以把控制平面留在我们的环境中。

1:09:00 另一面是，我们也许甚至可以在那些容量上运行别人的东西。所以理论上你可以做一些有趣的事情，比如，你可以把所有这些容量聚合成一个大池子。所以我们对其中一些想法感到兴奋。但总的来说，我觉得本地部署，我不知道我们会不会做。但BYOC，也许自带云。我可以说BYOC。我应该解释一下。假设，你要融资，我应该很快融更多钱。你会用这些钱做什么？我的意思是，就像我提到的，在这种容量情况下，很多钱，很多现金流，我应该说，所需的是容量、预付款，对吧？所以对我来说，这代表了当今现金的最佳用途。我们正在非常积极地扩大容量。也许未来我们会转向，你知道，其他类型的部署模式，所有权之类的。但我认为总会有现金成分，比如某种首付或预付款或类似的东西。所以对我来说，这是目前现金的最大用途。当然还有其他东西，比如，你知道，工资和办公空间之类的。但在我​​们的财务大局中，那基本上是个舍入误差，对吧？是的，有趣。你觉得这会改变吗？不，我认为，你知道，我们在这个业务中拥有的那种经营杠杆有点疯狂。比如，你知道，我们有200名员工，你知道，他们花很多钱，但，你知道，

1:10:30 GPU花的钱多得多。是的。如果你必须说，比如，前三件事，我不知道，比如你或公司目前最大的关注点是什么，你会说哪些？容量和那种财务复杂性。而且，你知道，总的来说，我们如何，我们如何看待那个领域？我们如何看待定价和打包？我们如何看待所有权和租赁之间的那种张力？我们应该更偏向neocloud方向吗？我们应该往相反方向走吗？那种反向定位，比如，那可能是我思考最多的大事。我思考第二多的事大概是，更像产品战略。比如，我经常思考，下一个构建模块是什么？比如，如果我们，你知道，做更多智能体之类的东西，我们需要什么，你知道，是否有某些存储原语或计算原语？或者总的来说，世界在未来几年会醒来并意识到他们需要的东西是什么？理想情况下，到那时我们已经有了。我们总体上相当擅长，比如，你知道，预测需求并提前构建产品，比如无服务器函数和沙箱。那么下一件事是什么？然后我会说，实际上我思考第三多的事是，更像文化和公司建设之类的东西。我的意思是，我们最近刚超过200人。我们增长极快。到年底我们可能会达到250人。 比如，当你发展得非常快的时候，你有250个人，他们都在努力想办法如何为Modal创造最大的价值，并且，你知道，确保他们有正确的背景信息，有正确的动力，每天都兴奋地来上班，因为他们能构建非常酷的东西

1:12:00 而且他们知道，你知道，是什么让Modal成功，他们能做什么，让激励保持一致，并确保，你知道，我们，我们，人们有一种非常积极的文化，他们有一种隐含的信任去做很多事情，但同时也有责任感，比如，你知道，交付最好的东西，并且，你知道，如果他们没有做到，就要被问责，对我来说，这些是，你知道，在这个规模上超级关键的事情。比如，当你是10、20、30人的时候，你们都可以，有点像，坐在一个房间里，一切都有点像隐含的，你有点像，能感觉到它。人们多少能读懂，读懂我，比如，当我有点烦的时候他们能看出来。当我开心的时候他们能看出来，但现在我们有250人，比如，人们不一定看得到，而且，你知道，当然，有很多新人，他们可能有点紧张，比如，跟CEO说话之类的。所以，比如，你知道，我如何保持平易近人，以及我如何，比如，这，这，有邓巴数这个东西，我觉得它更像是，你知道，被伪造出来的，而不是，任何真实的东西，至少它背后的故事是这样。但它实际上仍然有点像真的，比如，大约在150、200左右，我们就像，打下文化的基础是非常非常重要的。你们明年打算招多少人？过去12个月我们按年化计算增长了大约4倍。 我觉得从相对意义上说，这是不可持续的增长速度。我见过，你知道，你可以每年让团队翻倍，那不算特别难做到，但4倍，你开始看到的是，你知道，文化漂移，你开始看到不同工作风格的孤岛。

1:13:30 你开始看到人们做非常投机的事情之类的。这是我在工程团队里一直警惕的东西。你去跟工程师聊，我说，你在做什么？结果他们在构建某种边缘性的东西，比如，这真的是你应该花时间做的事吗？所以发展非常快是有代价的，而且你知道，它有让人上手成长的代价。所以我不知道。我觉得到年底，也许250人，大约到明年年底，你知道，但是，你知道，我们会继续增长，也许2.5倍、3倍。所以很可能我们明年最终会到，比如700人，差不多那样。我假设其中大多数是工程师。大多数是工程师。我们也在大量扩充销售。好。什么样的工程师？主要是系统工程师。我是说，我们一直都非常深入于，你知道，Linux和文件系统、可扩展系统、网络和云之类的东西。所以这就是我们要找的核心。比如人们非常擅长这些东西。我们也在大量寻找，比如，你知道，更像是，因为我们在技术栈上往上走了一点，比如我们在LLM和前端空间做了很多工作。所以现在我们在处理另一组关切，围绕，你知道，CUDA和GPU以及MFU，你知道，比如最大化每个GPU能获得的token数量以及很多这类事情。 而且，你知道，尽管我实际上会说，在我看来，那个领域的很多工作结果仍然更像是系统驱动的，因为结果发现，比如KV缓存和路由实际上仍然非常像系统问题，比如这些是非常像系统的问题。但是的，稍微

1:15:00 更多像是GPU性能那类东西。我们开始建立一个研究团队。我们非常兴奋，你知道，进入围绕，你知道，后训练和蒸馏以及更好的量化方法之类的东西，为你的客户或为内部。两者都有。我觉得这有点像FDE的情况。我觉得我们最初会和客户做很多工作来优化他们的模型。但随着时间推移，弄清楚我们如何把这些变成产品。我认为我们在某种意义上可以说会失败，如果每次客户需要优化模型，我们都得去和他们一起工作。而且，你知道，长期来看，它必须变成产品。所以有了FDE和研究团队，最初，你将不得不和客户做很多工作，而我们正在做。但随着时间推移，我们也在构建大量内部工具和大量随着时间推移完全自助式的内部产品。所以我们现在在后训练空间做了很多东西，但也在GPU性能空间做了很多。所以很多很酷的东西。很多很酷的东西。回到你刚才说的产品战略的东西。是的。是的。比如你有什么想法？比如未来一年、两年我们需要什么？我觉得这非常难说。而且如果我说，比如，我确切知道我们需要构建什么，我觉得我会像在妄想。 我认为到目前为止我们所看到的，以及我在更普遍层面上所相信的，就是我们还需要更好的构建模块。这就像是一个软件的新时代，我们正在解锁一整套几年前根本无法构建的全新类型的应用。

1:16:30 做所有 GNI 相关的东西、写代码、让 LMS 输出需要以隔离方式运行的代码。要配合 GPU 和 LMS 工作，需要太多这样的新原语。到目前为止我们已经构建了一些构建模块，这解锁了过去几年世界所见的一批应用。当然不只是我们的东西。但我认为在未来几年里，会有更多酷炫的东西出现。所以我提到了一些东西。比如我非常看好训练。我非常看好快速任务。我非常看好围绕智能体和低延迟之类的某些方向。但归根结底，我们把自己看作一家基础设施公司，对吧？我们不是想构建非常狭窄的东西。我们想构建非常通用的构建模块，并把它们放到客户面前。然后那些客户会把这些构建模块组合起来，构建出我们根本无法预料的惊人应用。我想过一遍你的一些推文。这会是最后一部分。好。我们可以，也许你想深入聊聊任何一点。现在有很多长时间运行的持久沙箱相关的东西。今天感觉还是搬移式的。我怀疑沙箱会从开发机演进到云端，再演进到更短暂的东西，每条命令一个环境。现在我中间插话了，所以你可以暂停、继续、克隆。是的。我是说，我们聊过很多这个。是的，我们聊过一点，对吧？ 我觉得我完全，我认为，我认为今天 Modal 里沙箱的中位数大概是八秒左右，差不多这样。这有点不可思议

1:18:00 你想想看。随着时间推移，我认为它可能会变得更短。我们也想支持长时间运行的沙箱。我觉得它们很棒，围绕长时间运行的沙箱有非常合理的用例。但我的愿景是，你知道，世界也需要，我们需要弄清楚如何大规模并行化，并减少启动和停止沙箱的开销。我不知道我是不是已经跑了一个 IP，已经启动了与竞争对手的军备竞赛，如果能协调一下、稍微放慢军备竞赛会不错。无可奉告。GPU 稀缺最大的缺点不是很难拿到 GPU，而是几乎所有产能都以三年期出售，是一个三年期的矩形，起始时间在未来三到六个月。那不是大多数用户需求的样子。我觉得我们也聊过一点这个。是的。而且，你知道，也许现在再深入一点。我觉得 Modal 一直非常非常擅长的一件事就是完全按需的产能，对吧？比如如果客户来找我们需要 100 块 GPU，我们通常可以立刻给他们，你甚至不需要和销售人员谈。现实生活中的很多工作负载，它们看起来不像这些平坦的、你知道，矩形的工作负载，它们在 24 小时周期内上下扩展，它们可能随时间增长，它们可能有某些突发时段。对我来说，这是今天很多客户面临的一个挑战。而且我确实认为这对这个领域来说是一个真实的问题，就是获得产能的唯一主要方式就是购买这些矩形块。这不太好。 我认为世界需要，而且从根本上，我是说，我很有偏见，但这就是为什么我认为 Modal 可以在那种，你知道，随便你怎么

1:19:30 称呼它，在提供更灵活产能的持续时间转型中扮演非常大的角色。我们能这样做，是因为我们可以聚合成千上万的客户，需求会变得非常平滑和聚合。所以 Modal 的很多价值主张正是如此。你会说这是一个差异化因素吗？比如，哦真的吗？好。是的。巨大的差异化因素。实际上，事实上，我觉得，Modal，如果你想非常简化地说，你可以把 Modal 的价值主张拆成两件事。一个是开发者体验，能够迭代、构建东西，而不必考虑基础设施。另一件事是产能相关的东西。我越想 Modal 以及我们长期的方向，就越觉得我们正在构建，我们正在聚合世界的算力产能。我们非常擅长非常细粒度地切分它，因为我们围绕极快扩展和收缩构建了所有这些工作，你知道，所有围绕 GPU 快照、以某些方式让它快得多的东西。而且这个模型在非常大的规模下运作得非常好，因为你可以聚合很多客户。每个月我一直在说，或者说沙箱收入可能适用于它，但它每个月持续增长 30%。这有点疯狂。我不理解，你知道，每个月我都想，好吧，沙箱增长了很多，但显然会有点平台期，然后它们继续增长得更多。所以我，我，我不知道。很多风投，他们问，你怎么知道沙箱会变大？ 说实话，我确实没想到，我原以为2023年它的规模肯定会比实际更大。但沙箱如今占我们收入的三分之一，这简直太疯狂了。当然，我们对此非常高兴。我们有一支非常大的团队在投入

1:21:00 沙箱业务。你知道，我不想轻视这件事。显然，我们确实想给自己记一大功，因为我们在2023年甚至更早就看到了沙箱今天的潜力。但我觉得，我大概永远不会打赌说沙箱带来的收入会有这么大、市场需求会有这么多。推理服务商应当独立于模型构建者存在，这背后有一个有趣的结构性原因。最好的模型一直在变，而推理服务商可以轻松地在不同模型之间重新分配资源，因为总体需求相当平滑。所以，如果你想想所有中国实验室，以及未来希望还有更多美国实验室，每当一个新实验室发布最新最强的开源模型时，你都会看到这些模型的需求出现大幅波动。因此我认为，一个挑战在于，如果所有这些实验室都各自独立持有容量，那么它们发布新模型时需求会大幅上升，然后另一个实验室发布更好的模型，需求又下降。当然，在幕后，他们正在研发下一个版本。所以，就像我说的，这里有一个结构性原因，解释了为什么你会开始看到需求逐渐转向最新最强的中国实验室。 我的意思是，并不是说一切都会一夜之间改变，因为很多模型、提示词之类的东西，很多都有一定的粘性。但我确实认为，有一种观点是，模型切换非常容易，比如今天我们为某个模型运行X千块GPU，明天我们需要把其中50%转移到另一个模型。

1:22:30 当然，这就是系统被设计来处理的事情。甚至不需要有人告诉我们去做，它就会神奇地自动完成。所以你同意基本上大语言模型是商品？如果你同意，那么你认为大型实验室的业务将走向何方？我不确定这是否一定正确，对吧？泰勒·斯威夫特是商品吗？她发行一张大专辑、进行巡演，赚很多钱。然后，你知道，当她去录歌时，会有一段低谷，我不知道，这是最好的类比。然后她发行新专辑，所以我不知道，她仍然拥有很大的品牌，有很大的影响力和很高的利润率。所以，只要实验室能反复推出新模型，只要这些模型的利润率能让他们摊销训练成本，我认为这仍然可以是一门不错的生意。所以你不认为智能正在趋于平缓？不，我不这么认为。我是说，我认为这还有待观察，对吧？今天的模型非常擅长做那些可以通过强化学习高效训练的事情。 我们已经看到，最初是在编程和编写简单代码片段方面，随着时间的推移，它也变得非常擅长编写生产级代码。它在数学方面变得非常擅长。它在网络安全方面变得非常擅长。这些都是非常可验证的事情。我仍然认为还有待观察，我们的模型是否会非常擅长比如做饭，或者我不知道，那些目标更

1:24:00 模糊、反馈循环可能更长的事情。我觉得人类大概，我的感觉是，在这些领域，人类将在很长一段时间内相当出色，与模型相比也很有竞争力。但当然，AI模型确实变得越来越好，我相信每个人都同意这一点。是的，所以显然，模型在编程方面变得越来越好，它们已经非常擅长编程。你认为还有哪些目前规模不大、但未来几年会变得巨大的应用？对于大语言模型？我不知道，但我认为任何具有可验证计算生物学的领域，我想你提到过。是的，计算生物学，我认为那些不完全是可验证的，但你可以通过某些方式运行模拟，比如你可以用大语言模型输出预测，然后你可以用计算方法模拟分子动力学，获得某种反馈循环。我是说，我认为材料科学可能是另一个领域，那里有一点这样的循环，你可以合成制造某些材料并测量其特性，把智能体放入循环中，做各种事情。你知道，我有物理学背景，我对此相当兴奋。所以药物、材料，还有什么？ 我一时想不起来了，但我相信还有很多其他事情。酷。这些就是我的全部问题了。你还有什么想谈但我没问到的吗？我很好。这很棒。非常有趣。太棒了。谢谢。感谢阅读

保持领先一步。