为什么 AI 算力是矩形的——对话 Modal CEO Erik Bernhardsson

为什么 AI 算力是矩形的——对话 Modal CEO Erik Bernhardsson 弹性 GPU、sandbox 增长，以及智能体云的经济学 Basil Chatha 2026 年 10 月 22 日

热烈欢迎 Basil Chatha，他是我们最新加入的联合主持人，来自 AI 工程领域的 Forward Deployed 方向！我们将与他一起推出一档新节目，并借 Modal 完成巨额 D 轮融资之际，采访了 Modal 的 CEO Eric，这个机会我们绝不能错过！

两年前，我们与 Erik Bernhardsson 聊过他对真正无服务器 AI 基础设施的愿景：开发者应当能够运行代码，而无需预置集群、预测负载或为闲置资源付费。随后，CTO Akshat 加入我们，谈到了 Modal 的基础设施原语和栈，以及如何提供这些原语和智能体体验。

过去 5 个月发生了很大变化。自 50 亿美元 C 轮融资以来，Modal 现在报告其年化收入已突破 10 亿美元，以 160 亿美元估值完成了 7.5 亿美元 D 轮融资，并已启动近 30 亿个 sandbox。在这次对话中，Erik 与 Vibhu 一起解释了这一增长背后的基础设施和经济逻辑——以及为什么算力需求很少呈现为购买它时所用的那种合同形态。

在 YouTube 上观看完整对话 →

GPU 需求不是矩形的

典型的容量合同为客户提供固定数量的 GPU，为期固定时段。将容量对时间作图，你会得到一个矩形。真实负载的行为则不同：它们在一天中增长、激增和回落。为峰值购买足够容量，你就会为闲置硬件付费；买少了，你就有可能错失需求。

Erik 将 Modal 的赌注描述为一种时长变换：将数千客户的需求汇聚成池，在底层锁定容量，并让每个客户在需要时使用所需的部分。聚合需求越平滑，这个池就越有用。这是我们与 SF Compute 的 Evan Conrad 对话的有益补充：Evan 专注于让容量可交易；Erik 专注于让容量以更小、更弹性的切片变得可用。

另一侧存在财务风险。如果提供商以当前价格锁定容量，而 GPU 价格随后下跌，它就可能持有昂贵供应。Erik 表示，他并不预期会立即崩盘，但认为在构建业务时这一可能性很重要。跳转到 GPU 价格讨论 →

差点没能活下来的 sandbox

在 Erik 和联合创始人 Akshat Bubna 注意到语言模型可以生成代码——并且需要有个地方来运行它之后，Modal 推出了 sandbox。早期采用率相当有限，团队甚至讨论过关停该产品。随后，编码智能体、后台智能体和强化学习创造了新的需求。Erik 表示，sandbox 已增长到约占 Modal 收入的三分之一，这是他在发布时没有预料到的结果。

这种增长也改变了基础设施必须做的事情。智能体可能会创建环境、运行代码、检查结果，并反复重试多次。启动和恢复这些环境的延迟成为体验的一部分。在我们最近对 Akshat 的采访中，我们探讨了从开发者体验到智能体体验的这一转变；在这里，Erik 补充了产品和商业层面的故事。跳转到 sandbox 讨论 →

快速启动是一项基础设施特性

只有当容量能够足够快地到位并发挥作用时，弹性才有意义。Modal 的无服务器 GPU 文章描述了这套机制：可用 GPU 缓冲区、自定义文件系统、进程检查点和 GPU 内存快照。这些组件减少了让另一个模型副本上线所需的工作。这是一个具体例子，说明基础设施决策如何体现在应用的响应速度和成本上。

我们还讨论了 Erik 从 Spotify 推荐系统到 Modal 的历程、公司如何购买算力、NVIDIA 的替代方案、forward-deployed 工程师，以及为什么在 Modal 代码审查是可选的。跳转到工程文化 →

节目笔记

Modal——Erik 创立的 AI 基础设施平台。

Erik 的文章——他关于基础设施、市场和创办公司的随笔。

Modal 的 D 轮融资公告——公司最新报告的增长和 sandbox 里程碑。

Modal 如何实现真正的无服务器 GPU——弹性推理背后的启动和扩展技术。

Modal 的资源求解器——它如何在不断变化的价格和可用性之间选择容量。

扩展到一百万个并发 sandbox——关于 sandbox 扩展的工程记录。

我们与 Erik 的第一次采访——最初的无服务器基础设施论点。

我们与 Akshat Bubna 的采访——面向智能体的基础设施和开发者体验。

可编程数据中心——Evan Conrad 谈 GPU 交易与实物交割。

时间戳

0:00 Modal 做什么

1:25 从 Spotify 到创办 Modal

4:19 在生成式 AI 热潮之前创业

7:43 第一批客户与融资

10:00 为推理和自动扩缩容而构建

13:21 Modal 从哪里获得 GPU 容量

15:39 租用与拥有基础设施

19:45 GPU 价格下跌的风险

24:18 AI 需求是无限的吗？

26:12 NVIDIA 的替代方案

28:25 Modal 能从 neocloud 学到什么

30:26 GPU 作为一种资产类别

31:55 Modal 的产品：函数和 sandbox

36:03 支持更小训练负载的理由

41:21 智能体 sandbox 正在如何变化

46:48 Anthropic 与 sandbox 安全

49:29 用智能体测试安全

52:51 智能体时代的开发者体验

57:45 Modal 的 forward-deployed 工程师做什么

59:55 Modal 的产品管理方法

1:03:29 可选的代码审查与工程文化

1:05:56 云、本地部署和自带云

1:09:25 容量、融资与增长

1:13:07 扩展团队

1:17:28 Erik 的推文：临时 sandbox

1:18:31 矩形 GPU 合同的问题

1:21:20 推理提供商与模型构建者

1:23:25 模型下一步在哪里提升

文字记录

自动转录自修订版；姓名和措辞可能存在错误。

0:00 感谢你来做客，Modal 的 Eric Fern-Hartson。你能简单介绍一下这家公司，也许还有你是怎么走到今天的吗？好。我们构建的，最简单的说法是，我们构建 AI 基础设施。所以我们提供一个计算平台和一个存储平台，让很多客户，比如 Dacagon、Suno、Runway、Cognition 以及许多其他公司，能够构建 AI 应用。所以这在实践中意味着大量的推理、大量的 sandbox，有时是训练和微调，有时是批处理任务和其他事情。所以我们基本上构建了一个软件 SDK，让客户能够非常快速地行动并构建这些。我们管理底层的所有容量，让部署、扩展和在生产中运行这些东西变得更容易。所以你在 Light and Space 大约是两年前，从那以后发生了很多事。你当时有多大，任何你能分享的数字，以及相比之下，你现在有多大？我其实不记得我们当时在哪里，但大概是至少 50 倍，收入、用户和用户都是。是的。我其实把它用在我自己的一个副项目上。不错。是的。就是把 2D 图像变成 3D 模型。是的。所以就是在这里托管几个模型。你觉得怎么样？有什么反馈吗？我是说，我很喜欢。不错。好。我是说，是的，这就是为什么我用它而不是任何竞争对手之类的。好。所以在你创办 Modal 之前，你在 Spotify，还有 better.com，我想。

1:30 没错。是的。是的。你在 Spotify 做什么？我其实在 Spotify 做了很多不同的事情，但我的主要贡献是我构建了一个音乐推荐系统。第一个版本是我在 2008 年、也许是 2009 年毕业后加入时做的，在 Spotify 待了七年。大部分时间基本上是从零开始构建音乐推荐系统，并建立了一个小团队，我们推出了很多功能，比如相关艺术家和 Discover Weekly 以及一堆其他东西。所以大量的矩阵分解，大量计算密集型的东西。可以说，后来成为 Modal 起源的很多东西，就是构建 AI 应用并意识到基础设施真他妈烂。一定有更好的办法来做这件事。所以，你知道，Modal 的很多理由就是构建一个我在 Spotify 那些年里一直想要的工具。是的。所以 Modal 更多是你在 Spotify 学到的东西的延伸，而不是来自 Better.com。Better.com 算是一段小插曲。那有点像过山车，关于这家公司说来话长。我们另外谈过。但我在 Better 做了五年 CTO，把技术团队从，我想，你知道，两三个人发展到三四百人。所以我学到了很多关于管理和组建团队、招聘的东西，也学到了很多关于开发者生产力的东西。我思考了很多关于工具之类的事情。做了更多全栈的东西。但是的，之后我有点回到了我内心亲近的东西，也就是基础设施、AI 和机器学习。Better.com 又是做什么的？抵押贷款。好。是的。你是怎么进入那个行业的？

3:00 我是说，我们不必在那上面花太多时间。是的，不，没关系。比如这个人，Zach Frankel，我当时不认识他，后来把我招到 Better 做 CTO，当时公司有 10 个人。而且，你知道，不管什么原因，你知道，创始人 Vishal，非常有趣的人，非常非常聪明，有点疯狂，主要是积极的方式。我们相处得很好。所以我们，是的，我们在 2015 年开始构建它，我花了五年时间发展那家公司，然后，你知道，最终发现做抵押贷款相当难，而且，你知道，疫情后利率上升得非常快，那给公司带来了很多问题。但那时我已经离开了。你离开是在 2020 年、2021 年左右？是的，差不多。是的。好，所以你是在有 Modal 的想法之前离开的，还是离开后创办的？很难说。我离开 Better 时有很多随机的想法，我其实不确定自己想不想创办公司。我只是，你知道，在疫情期间，我几乎像是休了个假，有两个孩子。我是说，我现在还有孩子，但我是说，当时他们大概两岁和四岁，所以我决定闲下来，休息了一段时间，有点兼职工作，比如捣鼓某些东西，不确定也许我应该做些咨询，然后我开始构建东西。然后我就对这个最终成为 Modal 的想法超级兴奋。但其实，你知道，Modal 是我构建的第 30 个，你知道，所以在那之前有几次尝试都无疾而终。

4:30 但我的模型是这样的，最初的想法是，这挺酷的。我应该做这个。这可能会是一个很酷的平台。其他想法是不是也类似，比如开发者工具？第一个是某种网页抓取的东西，后来没成。但你知道，事后看，也许本来能成。这是在 ChatGPT 发布之前吗？对。对。2021 年。哦，好。所以 ChatGPT 是 2022 年底，对吧？然后我开始构建，所以也许稍微倒回去一点背景，我在 Spotify 工作时发布了一个开源框架 Kaluigi，它是工作流编排。所以算是同一类，Airflow 和 Prefect 之类的，某种程度上算是过时的类别，人们不太常谈了。但有一段时间，它获得了很多关注。总之，我从未把它变成生意。但几年后，在 2021 年，当我在思考商业想法或要做的事情时，我有点回到了工作流编排。我开始捣鼓一堆想法，比如在云端运行代码，基本上就是编排在云端运行的代码。我意识到，说到底，核心拼图不只是编排计算机，而是执行计算机。我就想，这其实是个更大的问题。所以某种程度上，我其实把它搁置了，然后说，实际上，我要去做这边这个别的东西，之后再回来。我会回到工作流调度上。 但是，但是你知道，长话短说，我再也没回去，最终构建了 Modal，它的重点更像是，让我们想办法让在云端计算机上运行代码变得容易。最初的重点相当通用。

6:00 实际上某种程度上它一直如此，我们最近有点绕回原点，但我们专注于很多不同的应用。想法是，让我们把在云端运行代码变得超级简单。可以是 GPU 代码、AI、机器学习。也可以是数据相关的东西。并且大量关注，你知道，我们如何扩展它？我们如何让开发者体验很棒？很早就意识到，要做到这一点，我们必须深入技术栈，构建在文件系统之上、构建在容器运行时之上，做了很多，你知道，解决了很多艰难的工程挑战。然后你提到 ChatGPT，那其实不完全是杀手级应用。但如果你记得，那年秋天，大约同时出现了另一个东西，就是 Stable Diffusion，而 Stable Diffusion 结果成了我们当时所构建的东西的杀手级应用。我们当时只有四五个人。所以我们开始看到很多人来找我们，想运行 Stable Diffusion 模型。然后我们真正，那让我们意识到，也许生成式 AI 推理对我们来说其实是个非常好的用例。你是怎么发现这一点的？我就是个强迫性发推的人。我当时比现在还严重，现在我被经营公司分心太多了，但我一直很喜欢发推。我写了很多博客。所以我想我有一点粉丝基础。 所以，你知道，早期很多增长动力就是我自己强迫性地发推谈论 Modal、谈论我在构建的东西，让人们兴奋起来，写长篇博客文章谈云计算的走向等等。我把它叫做创始人主导的营销。我一直觉得你得发挥自己擅长的东西

7:30 而我擅长的，我想就是发垃圾帖、永远在线。所以，你知道，工作，仍然是这样，我觉得我们很多增长就是因为我们挺擅长社交媒体，就是经常在线。不错。多久才有第一个客户？花了一段时间。另外，你早期融资了吗？我们有一段时间没融资。实际上我自己出资了一段时间，甚至直到最初几名员工，某种程度上这挺好，因为可以对钱非常节俭，想看到投资回报。我很长一段时间没拿薪水。实际上，某个时候这成了问题，因为我需要钱，但我们有一段时间没融资。直到 2022 年初，我们融了种子轮。所以那时我已经做了大约一年。Akshah 大约五年前加入担任 CTO 和联合创始人，大概是现在八月，也许 2021 年。但然后直到基本上 2022 年底，我们才看到任何有意义的收入。我想这就是我为你骄傲的原因。对。而 Stable Diffusion 在我们的案例中是主要的东西，所以我们从，你知道，2022 年 11 月每月 100 美元，下个月我们做到每月 2,000 美元。然后 2023 年 1 月，我们突然做到 30,000 美元。 然后，你知道，我终于感觉这块巨大的焦虑从胸口卸下了。我想，也许我们真的摸到门道了。感觉我们确实摸到门道了。然后2023年我们增长得非常快。

9:00 我想从那以后我们基本上就一直增长得非常快。那个月入3万美元的时刻，是只靠几个大客户，还是客户非常多元？就一个。我不知道我有没有公开谈过那是谁，他们自己是否知道，但我觉得他们有所怀疑。那是纽约一家叫Mage的公司。他们在做类似Stable Diffusion的业务。所以，你知道，在2023年第一季度某个时候，他们大概占了我们80%、90%的收入。但之后，你知道，收入开始稍微多元化了。2023年底，Soon成为了我们的大客户。他们有一段时间也占了我们收入的很大一块。但后来，你知道，随着时间推移，我们现在实际上收入多元化做得非常好。是的。说到Stable Diffusion那些东西，我记得我用它来跑ComfyUI。我猜很多人都在用ComfyUI，在上面跑ComfyUI工作流。有些人是这样，但我觉得用Modal的人往往更偏向底层的东西。他们做的是复杂的东西。他们用模型的方式，一直都很适合折腾改造。所以他们部署自己的自定义工作流，带适配器、自定义推理和大量优化，而我们为了让开发者体验变得很好所做的所有东西，结果对运行生产工作负载也非常有用。因为自动扩缩容其实是一个很相似的问题。你想让容器非常快速地扩起来、缩下去。 所以我们恰好处于非常有利的位置，在早期承接了大量这类工作负载。自动扩缩容的工具当时不存在吗？为什么你得自己构建这些？

10:30 总的来说，我的论点是，你知道，每一个新的技术时代，某种程度上都会撞上工具的局限。你知道，无论是回顾过去，比如Web、云计算、移动端、PC，还是AI等等。所以我认为，你知道，情况往往是工具已经存在，但它们往往并不是特别好用。而且你常常需要重新思考很多这类工具，才能收获好处，真正加速并为这个新世界构建东西。你在云计算上看到了这一点，你知道，我们不得不发明Kubernetes和Docker之类的东西。类似地，你知道，在生成式AI上，你可以在上一代工具之上构建这些东西。比如你可以在Kubernetes和Docker这些东西之上构建，但那些技术是为一种非常不同的工作负载构建的。它们是为非常稳定的后端工作负载构建的。请求数量平稳，运行利用率相当低，因为CPU通常很便宜。所以人们不太担心成本。但现在我们进入这个新世界，你有非常昂贵的GPU，你想管理容量和利用率。你有非常大的模型，需要通过网络加载到CPU、再到GPU。而结果发现，很多这类工具，你知道，它们根本不是为此构建的。 所以我们觉得，你知道，我们不得不重建其中很多，你知道，构建我们自己的，我提到了文件系统，但过去几年我们也花了很多时间，构建一些非常酷的东西，比如CPU

12:00 快照、GPU快照和审计，我们构建了自动扩缩器和调度器，以及各种容量管理工具。我们有点觉得你必须这么做，因为你不能在这个新一代软件之上构建，你不能在旧东西之上做一个包装层来实现新东西。你有点需要从头开始一点。所以我猜，比如自动扩缩容，你有没有在平台上看到任何奇怪的行为？比如你们在扩缩容的时候，有没有什么东西坏掉？我是说，容量时不时一直是个挑战。比如你怎么弄到成百上千、成千上万块GPU？所以这始终很有挑战性。我们很早就不得不做多区域。所以我觉得事后看来，那是一个很关键的决定，做那件事，咬牙把它建起来。我们一直把容量管理看作一个大池子。就像全世界一个大池子。我们不把它看作每个区域运行各自独立的集群。所以那是我们早期做出的非常有影响的决定之一，那样去思考它。所以我不知道有没有出现过什么具体问题。 我是说，我们显然遇到过 bug，也遇到过宕机，你知道，我讨厌这样，你知道，尽管我非常希望模型能做到百分之百的在线率，你知道，而且我觉得最近我们基本上已经达到了四到五个九，但在模型的发展历程中，当然，我们确实遇到过一些扩展性方面的问题。是的。GPU 市场，嗯，其实在那之前。所以你们底层用的是 AWS、GCP 之类的，所有这些云服务商。

13:30 你们也会买一些基础设施吗？不，我们稍微聊聊云容量吧。因为我觉得这其实变化很大。比如最初几年我们确实……我们几乎所有的容量基本上都来自超大规模云厂商的竞价实例和按需容量，主要是竞价容量，跑在各个不同的区域，你知道，最初用的是 AWS，但后来也用 GCP，随着时间推移。我们很早就开始从 Oracle 租一些容量，因为我们想要八卡 A100 和八卡 H100，而且我们拿到了非常好的价格。随着时间推移，我们又增加了几家云，比如做预留，但，但直到去年年底，我们的大部分容量仍然是竞价实例或一年期预留。竞价就意味着你当时当场租用。没错。是的。而且它还是可抢占的，这一点我们不得不应对。但，但它在 Agria 上还算行得通，因为你可以基本上，你知道，从基本上数百个区域聚合容量。所以，那个模式一直运作得很好，直到我们又开始撞上瓶颈。我是说，首先，Modal 开始增长得非常快，因为我们需要更多容量，但根本上，云市场也开始发生很大变化。 所以过去一年，基本上现在为了获得我们需要的容量，我们不得不与更多得多的云厂商合作。我们目前实际上与将近 25 家云厂商合作。而且在很多情况下，为了获得我们想要的容量，我们不得不签三年以上的协议，而且必须预付一大笔钱。而且你是在三年期限内锁定价格，对吧？

15:00 所以，你知道，我们不得不花掉整整，你知道，过去六到九个月，你知道，某种程度上重新思考我们如何获取容量。我们不得不建立一个完整的采购部门，比如我们有四个人全职工作，基本上他们所做的就是采购容量，给 Neocloud 打电话，你知道，做交易，审核容量。我们不得不建立一个完整的工程团队，基本上 10 个人，就是管理来自世界各地的裸金属容量，处理网络问题、坏硬盘、GPU 从总线上掉下来，以及所有这些事情。我们不拥有容量。到目前为止我们所有的容量都是租的，嗯，你知道，通常，通常，通常是三年期协议。而这是一个重大决定。比如，我们应该买吗，我们应该，你知道，还是应该继续租？我其实对此并不特别教条。我觉得租挺好，因为它有一定的资本效率。如果你买，你知道，我是说，首先，没有那种运营复杂性。比如你必须，你知道，应付供应商和供货商，还有，你知道，电力、电缆以及各种东西。但还有，你知道，财务上的复杂性。比如，你怎么融资？比如，你应该股权融资吗，你知道，你可以融十亿美元然后去买硬件。 那是一种非常稀释股权的方式。嗯，你可以债务融资，但你知道，如果你那样做，你通常希望有锁定的长期收入来支付利率。那也不简单。但你知道，我们会看经济性，我们会看，呃，运营

16:30 复杂性，我们会看风险。呃，这是一个复杂的权衡，而且我们对购买持开放态度。我们会，我们会，还有其他结构。比如我们，为了获得 2027 年所需的容量，需要做大量工作，走很多不同的途径来锁定它。那么你们是否必须雇很多金融方面的人来做所有这些事？真的吗？你知道，我不得不在这上面花很多时间，我们也不得不在这上面花很多时间。而且我确实认为随着时间推移，我是说，有很多，你知道，这些是非常昂贵的资产，呃，硬件。而且，你知道，我觉得，我是说，这有点令人震惊。你开始看到 AI 投资开始变成美国 GDP 的几个百分点，而且，你知道，开始看到美国的利率在过去几周飙升。我是说，我，在这个阶段，你知道，你去看那些 Neocloud，这些是非常非常精密的金融工程公司。所以是的，我们会看这些，你知道，我们会看所有选项，而且我们可能也不得不自己做类似的事情。我倒不想，我宁愿专注于做一个，你知道，非常精简的软件公司，做我们擅长的事情。我不认为软件公司拥有硬资产总体上是个好事。你知道，就像，你应该拥有自己的办公室吗？ 就像，我不认为这对大多数公司来说一定是正确的解决方案。但当然，就像为了获得你想要的容量，你知道，一切都在考虑范围内。是的。而且我猜供应在一段时间内会受到限制。

18:00 所以你在某种程度上不得不这么做。那么，你同意这一点吗？还是你认为这只是暂时的现象？我不一定同意这一点。我的意思是，英伟达每个月都在交付，你知道，几十万块Blackwell，对吧？而且，我不想说市场是100%有效的，但就像，你知道，总的来说，如果你愿意支付高价，你就能获得GPU容量，对吧？就像如果你愿意比其他人付更多的钱，而且，当然，Anthropic和OpenAI正在尽可能多地购买。但根本上，就像市场上不断有供应进来。所以我不一定认为这是一个被完全垄断的资源。价格在上涨。而且我确实认为这值得反思一下。就像硬件的常态是，它就像脱离重力一样。就像最终，硬件价格总是会下降。所以我们有点处于一个奇怪的时期，就像硬件价格在上涨。而且，你知道，很难说，你知道，这会持续多久，你知道，可能是再过六个月，可能是再过36个月。就像真的很难知道会持续多久。但我根本上不知道，如果说，你知道，你需要购买容量，这是否是真的，对我来说，这有点像是几乎像疫情期间的卫生纸大短缺之类的。对吧。就像，你知道，至少这像是，你知道，挤兑银行类型的情况。 但是，话虽如此，就像，你知道，容量在一段时间内会紧张。而且，你知道，价格在上涨。而且，你知道，幸运的是，我认为，你知道，这对我们来说甚至不一定是不好的。如果价格上涨，因为，因为，你知道，稀缺也意味着我们可以

19:30 向客户收取更高的费用。而且，你知道，而且我们有很多以固定价格锁定的预订，这意味着在某种程度上，我们实际上已经有效地锁定了GPU价格。所以我不太担心价格上涨。我更担心的是价格实际上崩盘。我不认为这会在短期内发生。但我认为那对市场上的很多参与者来说会是一件相当糟糕的事情。为什么会糟糕？我认为这对任何锁定了大量供应的人来说都是糟糕的。是的。因为他们付了太多钱，他们付了太多钱，你知道，所以存在在高点买入的风险，对吧？而且再次，就像，我不太担心这个。就像，我不认为这会，你知道，会在短期内发生。但就像，你知道，就像我说的，就像硬件价格从长远来看，它们倾向于下降。所以这值得，你知道，反思一下，对吧？对。就像现在，我认为，我认为你的容量受到限制，而且这导致了，你知道，用经济学术语来说，存在稀缺租金，对吧？就像谁获取了稀缺租金？我认为主要流向两个地方，主要是英伟达，但当然，也在某种程度上流向Neoclouds，就像Neoclouds以及一般来说，你知道，任何拥有容量的人都有更好的经济效益。就像在容量受限的今天，这是不可否认的事实。长期来看，你知道，从非常长远来看，我不认为这一定完全正确，对吧？ 就像拥有GPU总能获得一点溢价，但这值得冒险吗？你知道，值得冒这样的风险吗，就像把这些非常昂贵的

21:00 资产放在你的资产负债表上？我不太确定，但你知道，我们拭目以待，就像这需要几年时间才能度过。而且，而且，而且从长远来看，你知道，我们可能会拥有一些，我们可能会租用一些，也许是组合，也许做一些其他疯狂的事情，联合导师，谁知道呢？也许一些复杂的SPD之类的。嗯，一切都在考虑范围内。你如何与OpenAI和Anthropic竞争并购买GPU容量？我假设他们想买光所有可用的东西。他们确实如此。而且，我认为你看到的是，嗯，你知道，很多这种情况，价格上涨。这是对此的反映吗？话虽如此，你知道，英伟达正在运送大量东西。我认为在某种程度上，英伟达也有点偏好一点多元化。就像他们不想要，你知道，少量大买家，就像你看到的，你知道，超大规模云厂商获得有点受限的分配。呃，我认为，你知道，英伟达也更希望看到，你知道，很多Neoclouds和很多替代云，就像获得更多分配。而且我认为，市场上我们看到的一点也是，这更多是推测，但我认为我们看到，你知道，规模较小的云，合作起来有点风险，对我们来说反而更多是一个机会。就像，你知道，也许英伟达，抱歉，Anthropic和OpenAI，我的感觉是，他们更愿意从，从，从可信的、经过考验的渠道购买，呃，部分原因也是因为他们必须进行大量训练运行。 所以他们需要非常大的区块，但外面的容量很充足，你知道，在亚美尼亚能拿到32个节点。

22:30 在印度尼西亚能拿到128个节点。就像，你知道，我们就喜欢这种玩意儿。所以我们可以出去，在全世界拿到很多，你知道，较小的容量。价格相当不错。是不是基本上就像，如果有人给你提供一定数量的GPU，那就是你唯一关心的？是不是没有像，哦，你关心它有多可靠，你知道，是不是只是某个破仓库里有人放着这些？我的意思是，有时候确实是个破仓库。感觉就像，你知道，但是，但是，我们基本上确实有一份规格表。比如当我们和供应商谈的时候，我们做的第一件事就是发给他们一份规格表。我们说，我们需要这个数量的IOPS。我们需要，你知道，CPU至少得是，至少，你知道，得有，得有这么多，你知道，不管是什么PassMark分数之类的。我们需要看到，你知道，最低的，你知道，南北向带宽，出站和入站。所以我们确实有一份要求清单。我们经常尝试做一个验收测试期，就是拿一个节点，然后随着时间运行和测试，你知道，在某种程度上，这也需要一点盲目的信任。你知道，有时候我们签下非常大的承诺，你知道，数千万或数亿美元，然后我们开始和一个我们还不完全了解的供应商合作。 而且，你知道，随着时间推移，就像，你知道，我们会看到的，而且，而且，而且我认为随着，稍微，有一点，有一点就是，你知道，我们自己的那种，就像，你知道，就像SemiAnalysis有ClusterMAX那样，我有点觉得我们内部几乎有自己的，就像ModalMAX评分。比如，我知道我比其他的更喜欢哪些供应商，你知道，而且，而且，

24:00 而且我们有点更倾向于和我们见过的、你知道，可靠性非常好的供应商做更多的交易，不只是可靠性，还有，当我们有，你知道，支持问题时，他们是否非常响应，我们要求修复的问题，周转时间如何。如果出故障了，你知道，他们多快能修好？诸如此类的事情。你同意对智能的需求基本上是无限的吗？如果是这样，那你为什么不尽可能多地买下容量？然后，如果你买多了，你直接卖给别人就行了。我觉得，当有一种稀缺资源时，很容易说，咱们就尽可能多买。但我觉得，你知道，首先，如果我们今天买了，我们也没法全部利用。我们确实可以利用很多，对吧？但你可以把它卖给其他想用的人，对吧？我觉得挑战在于，如果市场上发生了什么事，会有很多相关性同时发生。如果，你知道，价格下降、利用率下降，转售容量的市场也差不多在同一时间消失。 我坐在这里，而且我极其激进，比如每天都买容量，还筹钱来买，你知道，所以总体来说，我非常看涨，但是，我想指出，你知道，这里有尾部风险。当那些尾部风险发生时，可能会变得非常糟糕。部分原因是，也许我，你知道，我只是老了，我过去见过这些，我其实1999年就做了第一份工作。所以我经历了互联网泡沫危机，也经历过大金融危机之类的事情。而且，你知道，我想建立一家能存续20

25:30 到30、50年的公司，对吧？所以，你知道，我觉得我们现在当然可以出去买下惊人数量的容量，试图垄断市场。但是，你知道，你知道亨特兄弟吗？这是交易界的传奇故事。他们试图垄断白银市场。结果惨败。你知道，所以垄断市场，我觉得总的来说，可能不是个好主意。但是，但是我们总体上非常、非常激进，但我们在扩产，你知道，按照一个激进的计划，基本上匹配我们的需求增长，也匹配我们想明年底达到的水平，就运行时间或运行率而言。你是只买英伟达的东西，还是也，你知道，也许从其他类型的公司买容量，比如训练它们，我们正在考虑。我觉得替代加速器开始变得非常有意思。你知道，讽刺的是，过去五年，也许甚至十年，我每年都在说，你知道，明年将是非英伟达加速器之年。然后我总是错的。但是，我确实认为2027年可能是非英伟达加速器之年。终于，所以我们看看我今年是不是又错了。但是，我，你知道，这些在某些事情上开始得到非常好的分数。我觉得，你知道，TPU显然在谷歌内部被非常，你知道，广泛使用。似乎运行得很好。我对训练了解不多。我感觉我没怎么看到，但是，你知道，团队非常优秀。我知道他们在做很多软件方面的工作。

27:00 你知道，硬件在某种程度上确实很难。软件相对容易一些。这让我觉得，你知道，如果我们只是把这些加速器的软件层修好，我觉得它们会有很大的需求。而且我认为从根本上说，你知道，既然英伟达是这么大的瓶颈，我们大概会看到，你知道，更多替代加速器。话虽如此，你知道，管道更下游还有瓶颈。我是说，你知道，还有台积电和 ASML，也许那才是这一切更深层的瓶颈。但是，你知道，长期来看，我认为垄断并不总能持久。所以我认为市场有更多替代方案会是健康的。尽管我很爱英伟达，这一点要说清楚，我是说，他们显然是一家了不起的公司，产品也很棒。我确实也预计市场会看到更多一些多样性。还有，你知道，像 Cerebras 和 Grock 这些东西。对。你对这些供应商有什么看法？我觉得它们相当令人兴奋。而且，你知道，你能看到它们在某些工作负载上做得非常好。而且，你知道，有一些有意思的人在做这种混合的、你知道，分离式推理，他们用英伟达做预填充，用 Cerebras 做解码之类的。哦，我其实还没听说过这个。对。还有 Grock 也是，因为很多东西，你知道，有些东西是计算受限，有些东西是内存受限。所以你可以 sort of 混搭。我觉得这相当令人兴奋。在实践中部署这些东西时会变得非常复杂。但我确实认为有很多、有很多，你知道，机会，以及这些 sort of，你知道，更复杂的硬件配置。 这些 Neoclouds，比如，我不知道，像 Nebius 之类的，以及它们做事的方式，与

28:30 你们在做的事情相比，你从它们那里学到了什么吗？我觉得，你知道，Neoclouds 非常有意思的一点是，它们怎么能扩张得这么快？我觉得实际上最疯狂的例子是 N scale，它从 sort of 无名之辈，到，你知道，拥有，随便吧，数千亿美元的项目管道，尽管几乎没有什么产能。Neoclouds 怎么能增长得这么快？我是说，基本上，你知道，答案就是，你知道，这可能很明显，但它们做的就是，去找，你知道，Anthropic 或 OpenAI 以及某个大买家之类的。然后基本上说，嘿，你想买五年的芯片吗？你知道，签这份合同，我们给你一个好价格。然后他们拿着这份合同去，你知道，华尔街说，看，我们有了这个，你知道，大买家，你知道，他们承诺了价值 100 亿美元的芯片。我们现在只需要把它变现。然后他们就去筹钱。然后他们再去找，你知道，Super Micro 和 Dell 或随便什么英伟达相关的，拿到硬件，然后安装。然后，你知道，现在他们就有了，你知道，交付给客户。对吧。所以你有了这种非常好的 sort of 金融构造，你基本上可以预售你甚至还没买的东西。这意味着，你知道，你可以极快地扩张。所以这就是我们在这些 Neoclouds 身上看到的，就是，就是，它们能非常好、非常好地扩张。 我觉得是 Modal，因为我们一直更偏向 PLG 一点，而不是那种，你知道，能够以同样方式锁定长期合同的能力，从财务角度看，要那么快扩张会更有挑战一些，尽管我认为，你知道，长期来看，我们会达到

30:00 同样的点。但我觉得，看到这些 Neoclouds，尤其是像 CoreWeave 和那些大公司，一直是一件很迷人的事。它们在，你知道，如何筹钱以及如何，你知道，把 GPU 当作贷款抵押品这些事情上非常、非常精明。有个东西的相关性是什么，我忘了是谁，但好像某家金融公司说，哦，我们要把，哦，我想其实是英伟达。实际上，他们说，我们要把 GPU 变成一种资产类别。这只是因为他们需要筹钱，然后他们在想办法从哪里弄钱吗？这有什么相关性？我是说，有一堆初创公司。我不知道你是不是在想这个。有像 Silicon Data 和 computer exchange，还有 Orn，以及，以及，还有几家别的，基本上就是试图，你知道，创建价格指数和指数，交易衍生品之类的。我觉得这很有意思。我觉得，像计算，它确实，计算作为一种资产类别有一些挑战。它绝对不像其他资产类别那样同质。你有不同的网络、不同的位置，还有，还有，不同的磁盘和 CPU 以及各种东西和可靠性。我是说，话虽如此，你可以对石油说同样的话，而我们 sort of 把石油变成了，你知道，相对商品化的、你知道，可交易的资产。 这还有待观察。就像我确实认为，你知道，在我们如今 AI 的规模下，比如数据中心和 GPU 部署，我们确实需要在风险对冲、以及如何分担风险这些方面稍微聪明一点，还有，你知道，

31:30 更多地采用保险之类的方式。所以，我，我，我非常高兴大家都在大量思考这件事。话虽如此，我，我并不完全确定我们是否会看到，你知道，GPU 变成那种，你知道，不管是什么，类似 Henry Hub、你知道，布伦特原油那种，你知道，超级商品化、你知道，可交易资产。是的。我想把话题转到 Modal sandboxes 上。是的。我猜在我们这么做之前，Modal 有哪些不同的产品？我猜显然主要产品就是，GPU。然后你有 Modal sandboxes。还有别的吗？我觉得我们有的两个大产品基本上，第一是 Modal functions，第二是 Modal sandboxes。所以，就 Modal functions 而言，你知道，我们在 2021 年推出了它。当时的想法是，无服务器函数非常容易部署、非常容易扩展，而我们管理所有容量。结果证明它对推理非常、非常好，也证明它对管理 GPU 和在上面运行东西非常、非常好。但我们实际上从来没有过，你知道，专门的推理产品，或者严格来说的 GPU 产品。就像我们从来没把 Modal 想成一家 neocloud，我觉得存在一种风险，就是被吸进那个方向，变成一家 neocloud，就只是卖，你知道，那种我认为是矩形的，就像这里有一份三年期的。你拿到这么多 GPU。 Modal 一直非常擅长，比如你部署了某个东西，你就能把它扩展起来。你有这种周期性的或者突发性的东西。比如我们管理所有容量。美妙之处在于，因为我们有成千上万的客户，

33:00 我们可以 sort of 聚合这些容量，得到非常平滑的工作负载，你知道，非常平滑的聚合需求，我们可以非常、非常高效地管理它。所以 Modal functions 是核心。我们在 2021 年推出了它。就像我提到的，我们在 2023 年开始看到产品市场契合。而现在，你知道，它大约占我们收入的 三分之二，并赋能很多，你知道，在实践中，它主要是推理，但你可以把它用于各种其他东西。Modal sandboxes，我们在 2023 年推出了它。而且它实际上 sort of，你知道，花了一段时间才看到产品市场契合，和 functions 类似。我们为什么推出它？我们意识到，我们交谈过的很多人都在用 LLM 输出代码。这就像我和 Akshar 某天吃午饭时聊天。我们想，也许他们需要一个地方来运行那些代码。然后我们意识到，实际上，我们 sort of 已经有很多基础设施，可以直接拿代码来运行。因为我们已经构建了管理容器和隔离的 primitives。我们已经有，你知道，G visors 和隔离 primitive 之类的东西。所以我们对这个想法 sort of 感到兴奋。然后 Akshar 写了一个原型，基本上一天或两天就推出了。零。就像我们看到，增长非常少。我不想把它说得微不足道。因为我们确实看到了一些增长。就像有某种，你知道，而且那是 2023 年。所以是的，那是 2023 年。而且就像，你知道，有些人用上了它。我们有一些早期用户，他们为了某些事情 sort of 很喜欢它。 但整体上，就像，在进入 2023 年夏天时，它还是一个相当不重要的收入来源。所以两年后，我们甚至讨论过，我们到底还需要这个产品吗？

34:30 我们应该关掉它吗？然后它就开始爆发了。所以是 2023 年。而且我认为 2023 年真正发生的是，LLM 在生成代码方面变得非常好了。2023 年。2023 年。我是说，大概就是那个时候。就像我觉得那就是它们从能够重构函数、写代码片段，变成能够生成完整应用的时候。对。于是我们开始看到大量增长来自 vibe coding，你知道，像 Loveable 这样的公司和其他公司。然后，你知道，像 ramps 这样的公司开始把 Modal 用于后台智能体。然后我们开始看到来自许多 Neolabs 的巨大增长，它们在 Modal sandboxes 上做强化学习之类的事情。所以 sandboxes 现在大约占我们收入的三分之一。你知道，我们把它基本上看作我们的第二个产品。而对我来说，这真的令人兴奋，因为即使在 Modal 的早期，我一直知道 Modal，你知道，是关于打造一整套产品工具包的。就像我们一直想几乎成为一朵云，你知道，你有存储和计算，以及一堆不同的使用方式。我们一直想成为多产品供应商，但在实践中直到现在才真正如此。我们现在就像，我觉得现在 sort of 清楚了。我们有 functions，我们有 sandboxes。我们还在做一堆其他东西。我们在做训练，在做批处理，我们在做一堆其他东西。所以对我来说，这种演变成多产品公司的过程，我觉得太棒了，因为那一直是愿景的核心。 甚至在最早的演示文稿里，我就有一堆关于这个的幻灯片。但直到最近，它才真正与外部世界相符。

36:00 你有没有在做的、你认为会成为下一个类似产品的东西？也许对市场有什么预测？诸如此类？我是说，我非常看好训练。我认为训练有点像是一个服务不足的市场。显然，大家对超大规模训练运行有很多关注。但我们实际上看到了大量需求，来自较小和中型规模的训练细分市场。所以我这周晚些时候会稍微谈谈这个。我们正在组织一场会议。批处理我认为是一个很有意思的市场。我觉得我们看到了很多需求，来自那些需要……你知道，我们前几天有个客户需要转录，你知道，5000 年的音频。他们有，你知道，数以百万计的音频文件。而我们有很多容量。所以我们让他们做了这件事，你知道，花了几天时间。我认为那里有一些非常有意思的用例。非常看好低延迟的东西。我认为会有很多，你知道，一旦我们让音频，比如语音到语音模型跑起来，比如语音模型。我有点预期那会是一个非常有意思的市场。然后当然，还有所有这些 agent 的东西，对吧？而在某种程度上，我对 agent 这个词有点复杂的感受，因为我觉得在某些方面，我认为所有软件都会变得 agent 化。所以对我来说，这几乎就像是，agent 化到底意味着什么？我觉得所有软件在某种程度上，都会随着时间变成 AI 驱动的。 但显然，有一套构建模块，你知道，用来做更多 LLM 驱动的软件，这似乎，你知道，在所有不同用例中都是共通的。

37:30 而我们就像，你知道，我对模型的思考方式是，我们做的是构建构建模块的生意，你知道，我们想给你惊人的、可泛化的、久经考验的、你知道，通用的、可组合的构建模块。而且我认为还有一些非常有意思的东西，比如，你知道，在 agent 用例方面。这很有意思。你提到训练，因为我觉得在另一个播客里，也许大概一年前，也许大概两年前，你说过训练并不是你特别专注的方向，市场上发生了什么变化？我是说，我们断断续续地做训练产品已经好几年了。所以我不会说我们就像，我们从来没有专注过它。但这就像，就像那些事情之一，我们就像，我是说，现在我们大概有 150 名工程师，但你知道，一两年前，我们的工程师人数要少得多。所以，但仅仅因为，你知道，规模更小，我们不得不稍微更专注一些。于是推理成了我们唯一的焦点，并且多年来一直是我们的唯一焦点。但我们现在更大了。就像我们，我们，我们确实有机会也在其他市场下注。我也非常感兴趣，你知道，继续列下去。后训练、强化学习。我认为那周围有一些非常令人兴奋的东西。我认为还有很多其他东西，比如围绕存储、构建数据仓库和特征存储、实时流式管道以及各种，我不知道。 我认为 Modal 的长期愿景基本上就像是，你想构建一些酷炫的 AI 东西，你知道，我们帮你搞定，你知道，我们有所有构建模块，比如计算任务，我们会帮你，你知道，把所有这些构建模块组合起来。

39:00 而这就是软件的美妙之处，就像你，你知道，只要有正确的构建模块，你几乎可以构建任何东西。所以那非常是我们想要构建的公司和产品。当你说训练时，你是更专注于做大规模训练运行的大企业吗？不，不，他们会去，就像，你知道，做这些，你知道，大型的、超大规模厂商或者说是 Neo、Neo 云的大交易，拿到，你知道，10 万块 GPU 之类的。但是，但是，但是有一个有点服务不足的市场，在我看来，你知道，比如研究人员在迭代，或者人们在训练更小的模型，有，你知道，德州海滩和语音、文本模型，计算生物技术实际上是我们看到大量需求的一个市场。我们在那个领域有很多客户在训练相对，你知道，适度的模型。你可以在 64 块 GPU 上训练之类的，推荐系统，很多传统机器学习。有很多东西，你不需要，你知道，10 万块 GPU。那个市场，我认为，我们暂时不会专注在那上面。但是，但是我认为在，你知道，稍微小一点的市场里有很多东西，那些市场相对服务不足。搭建训练集群非常难。是的。你有没有注意到，比如自从，我不知道，比如 GLM 5.2 或者，也许比如 can we 2.5，你知道，很多人在用那些并微调它们？如果说有什么的话，我实际上看到了相反的方向。 我觉得几年前微调价值主张的时候，情况大概是，对，你知道，开源模型，它们没那么好。但是，你知道，如果你拿一个，你知道，小模型，在你自己特定的

40:30 领域上微调它，你其实可以在质量和成本上达到前沿水平。今天，我会说开源模型已经好到，你基本上可以直接把它们换上去跑，你知道，而不是用那些前沿模型，你可以跑，你知道，Kimi K3 或者随便什么，DeepSeq 4.1 或者 GLM 5.3。它们基本上几乎和前沿模型一样好，成本却低得多。所以我们仍然看到大量对后训练的需求。我确实认为那是一个非常有意思的领域，我们正在那个领域做一些产品，你知道，既有 SFT，也有强化学习之类的。我还想说，你知道，微调不再是你必须做的那件事了。它非常可选。你可以直接用开源模型，开箱即用效果就很好。其实回到 sandbox。我忘了问你。那么，你们提供的 sandbox 有什么是你们必须更新的，而现有 sandbox 不允许的？没有太多。我觉得我们一直非常非常擅长的事情，我是说，我们是基础设施极客，对吧？我们非常擅长，你知道，扩展性和可靠性，以及做很多事。我觉得这在很大程度上解释了为什么我们有，你知道，在我看来，我没有数字，但我觉得我们在这个领域拥有遥遥领先的最大市场份额。我们就是非常擅长运行，你知道，几十万甚至上百万个 sandbox。是的。 我得说，我们不得不，我们不得不重写我们的系统，你知道，好几次，才能应对那种规模。

42:00 但我们一直都很擅长这个。还有其他东西，随着时间推移。我是说，sandbox 领域总体上，你知道，它不是最有差异化的领域，但你知道，我们正在做一些非常酷的东西。比如随着时间推移，我们不得不增加对 VM 的支持，比如虚拟机。所以我们之前是在 GVisor 上构建我们的 sandbox 产品，但现在我们也提供完整的虚拟化机器。结果发现，对于某些用例，你确实需要完整的 Linux 兼容性。我们还必须构建其他东西，你知道，更好的原语，比如更交互式的，你知道，在 sandbox 之间来回传输数据，处理文件系统。我们不得不在快照上花很多时间。我觉得从长远来看，很多能形成差异化的东西会是，你知道，非常酷的东西，比如，你知道，fork sandbox、快照、恢复快照，比如实时迁移。总的来说，我觉得 sandbox，sandbox 的新颖之处始终是，你知道，这种短暂性，比如你可以在几秒钟内启动 sandbox。这是我喜欢的东西，是我想更多挖掘的一条线。我觉得你可以做很多非常酷的事情，你知道，把 agent 和 harness 解耦，把它和 sandbox 解耦，让 agent 控制许多 sandbox，fork sandbox，你知道，快照之类的东西，比如基本上运行非常短命的，也许每条命令一个，之类的东西。所以我觉得那里有很多酷东西。我们已经花了很多时间做这个，你知道，围绕快照。但我觉得那里也有很多酷东西可以构建。 你几次提到快照。

43:30 你觉得快照的用例是什么？比如它会给我们带来什么现在没有的东西？对我来说，最大的事情是，今天很多 sandbox 工作负载有点像平移和搬迁。人们想 sandbox 的时候几乎像是，你知道，我有我的开发机，现在我要把它塞进云里，我要让一个 agent 控制它，也许我会在 sandbox 里面运行 harness。我不知道长期来看那是不是思考，你知道，agent 计算资源的正确方式。我觉得一个更好的模型会是，你会有这种非常长时间运行的 agent，在我看来它们几乎像是某种持久执行工作流。它们会运行，你知道，7×24 小时，你知道，每隔一段时间它们会运行命令，而，你知道，有能力在，你知道，100 毫秒内启动一个 sandbox，运行几条命令，然后关掉它，快照它。我觉得你能越快完成那个，你知道，唤醒、休眠的循环，你就越能创造出只运行非常短时间的 sandbox，那会让计算高效得多。它也会让你能做很多非常酷的事情，你知道，比如 fork 和移动东西，还有，还有，你知道，比如想象，你知道，Claude code 不是，你知道，有一种非常线性的流程，顺序流程，而是分支，并且，你知道，同时运行数百个 agent。我觉得很多 CI 是另一个说明性的例子，比如在 CI 的大部分历史中，你知道，谈论 GitHub actions 之类的。

45:00 就像你有一个非常顺序化的流程，比如，你知道，你慢慢安装一堆东西，然后运行测试套件，然后，你知道，生成一些报告之类的。看起来，你可以把它拆成分片，但这有点烦人。比如我很想做的是，把你的整个测试套件拿来，让每一个测试都在它自己的沙箱里运行，对吧？比如，然后把它疯狂并行化到大约一千个沙箱上。为什么这做不到呢？我的意思是，问题在于有太多，有太多开销，比如，你知道，启动和停止沙箱。所以我认为，你越是创造那种，你知道，无摩擦的，比如启动和停止，你就越能进入一个世界，在那里你可以做这种，比如极度突发性的，比如大规模地，比如你想并行运行多少就运行多少。所以，你知道，我是个基础设施极客，就像我说的，比如我对这些东西非常兴奋。你知道，一旦我们弄清楚所有这些原语和正确的构建块，我认为它会解锁很多非常酷的东西，那些，你知道，我们以前用软件做不到的事情。为什么那还没有被构建出来呢？我会以为即使以前人们也会想尽可能并行化他们的 CI。你做不到，但开销，就像阿姆达尔定律之类的。对吧？比如现在并行化的开销非常高，因为比如现在，比如你可以用 GitHub actions，举例来说，比如我们在 Modal 测试套件里并行化，对吧？但那基本上意味着，比如现在如果你把你的测试套件拿来分成两份，比如现在每个分片都需要做所有的安装和测试设置。而那要花很长时间。比如可能要花几分钟，但假设你可以只做一次测试设置

46:30 然后你对容器做快照，现在你克隆它，现在你就可以独立运行测试套件了。我认为很多好处无法，你无法把这些好处变现，直到你把摩擦和开销降下来，也就是交易成本。我觉得你们和 Anthropic 有合作，他们在用沙箱做些什么，比如 Modal 沙箱。是的，我是说 Anthropic 的托管智能体，这算是自带沙箱集成。所以你可以用 Modal 来做那些，是的。那是怎么来的？比如怎么促成的？我觉得 Anthropic 在试图创建一个繁荣的生态系统和社区，所以我觉得他们从推理中赚钱，对吧？好。我觉得推广其他一切、尽可能大的生态系统非常符合他们的利益，他们想要尽可能大的覆盖面，只要你在推理上使用 Anthropic。所以我觉得他们与我们作为沙箱提供商合作是非常理性的。另外，我觉得我们得提一下 Hugging Face 事件。你介意谈那个吗？是的，是的，我是说，一切都在那里。是的，是的。所以，是的，你能不能简要描述一下发生了什么，我觉得他们当时在用 Modal 沙箱，但那不是你们的，你知道，那不是沙箱的错。是的，正是。我忘了那次利用的所有细节，但我是说，你知道，我觉得你指的是 Modal 被卷入这件事。是的。所以，你知道，就对此评论一下，基本上在内部运行的智能体，

48:00 你知道，那个利用了 Hugging Face 的，他们发现了一个部署在 Modal 上的应用中的漏洞，他们利用那个来，差不多像是跳板，用来获取访问权限，获取完整的互联网访问权限，这是我的理解。我不记得全部细节了。要明确的是，这是一个运行在 Modal 上的应用被黑了。比如不是 Modal 被黑了。所以就像 AWS，很多人在 AWS 上运行东西，偶尔那些应用会被黑。那意味着 AWS 被黑了吗？比如不，当然不是，对吧？所以有很多人在 Modal 上运行应用，你知道，其中一个应用被黑了。我觉得，但我们可以学到一些教训，我觉得我们一直在反思的一件事是，比如我们能不能默认就有更合理的安全限制，我觉得用 AWS 的类比，再另一个类比，你知道，S3 以前是那种，比如，你知道，以前很容易不小心把 S3 桶设为公开，AWS 意识到，你知道，这不一定导致，你知道，对 AWS 本身构成安全问题。但他们的很多客户会不小心，你知道，泄露数据。所以 S3，现在要把 S3 桶设为公开难多了。所以类似地，比如我们正在探索，你知道，我们能不能默认让安全限制更严格一点，而不一定，你知道，破坏让 Modal 出色的魔力。我觉得还有，你知道，这算是另一个岔题，比如智能体在网络安全方面越来越强了。所以我们实际上也，作为一种，你知道，

49:30 从这次事件中单独总结出一些经验教训，比如我们已经在内部大量使用智能体来尝试寻找漏洞，到目前为止还没有发现任何问题，但它们非常擅长探查系统非常深层的部分，并尝试利用、试图利用一些东西，试图提权并逃出沙箱。所以，你知道，这是我们目前正在非常积极地探索的事情。你具体是怎么让智能体去跑代码库的？你就是说，嘿，去找安全漏洞？嗯，不是，你就是把它们放进一个沙箱里，然后告诉它们，你能试着解释一下吗？就直接跑一遍逃出沙箱。这就像密室逃脱，不过是给智能体玩的。酷。你什么时候开始这么做的？我们几个月前开始的。而且挺令人兴奋的。比如 Fable 出来的时候，我猜。对，大概同一时间。好。我的意思是，我对网络安全的看法是，你知道，我其实认为它们非常擅长发现漏洞，但我认为你也可以很好地防御性地使用它们。所以我，我，我认为，你知道，像 Modal 和现在许多其他公司，我觉得，你知道，如果你去和几乎每个系统聊，我确信他们都在想同样的事情。比如我们如何防御性地使用智能体来，来，来，你知道，修复我们所有的漏洞？所以随着时间推移，实际上，在某种程度上，我并没有那么紧张。我认为如果说有什么的话，比如智能体和网络安全，网络安全方面的所有突破都会，如果说有什么的话，会让世界更安全。你觉得所有网络安全，大型网络安全公司是不是都完蛋了？我不知道那是不是真的，因为我的意思是，你问的东西非常

51:00 超出我的核心专业领域。但当我想到网络安全时，你卖的很多东西实际上就是恐惧。这几乎就像是一种品牌和营销策略，不亚于，你知道，显然的核心产品。但我认为，你知道，品牌和诸如此类的东西在 AI 时代实际上可以说更有价值。所以我不会贸然下结论说它们完蛋了。我认为它们有，你知道，与企业客户的深厚关系，而且它们有，你知道，庞大的销售团队，非常擅长讲，你知道，吓人的故事之类的。而且我认为它们会继续非常擅长这个。我这么问只是因为，对，你自己就在做，你不会去找 Palo Alto Networks 之类的公司。但我想这只有巨型企业才在乎这个。而且，如果出了什么问题，他们还可以怪别人。确实如此。对。对。在很多情况下，你就是想雇一个成熟的供应商，好把锅甩给他们。我的意思是，在某种程度上，这确实稍微减少了我们做，引入渗透测试人员，比如人类渗透测试人员的需求，大多数初创公司都会定期做这个。所以也许以前，你知道，我们会做，我其实不知道周期是什么，但我认为我们以前大概每六个月做一次。也许现在我们只需要每年做一次。我不知道。但是，但就像，我认为对于所有这些东西，你知道，人类也可以利用它们来提高效率。所以就像，你知道，比如，我不知道，我也有点相信，人类加上 AI 现在更强大。所以也许有一种论点认为，我们可以引入那些

52:30 非常擅长使用智能体的渗透测试人员，你知道，甚至更快地发现漏洞。我不知道。我没那么，你知道，我是个乐观主义者。我创办了一家公司。所以就像，你知道，我总体上对一切都很乐观。但就像，我当然不认为人类完蛋了，或者公司完蛋了。就像我认为在 AI 时代，很多公司会弄清楚，你知道，如何利用 AI 变得更高效。我想稍微转到开发者体验，因为早期，我的意思是，甚至现在，你们都非常关注这个。我的意思是，你谈了很多。开发者体验现在还重要吗？我认为它仍然重要。而且我认为你有点，你知道，就像背景，我认为你是正式的，就像你在说的是，现在有了智能体，对吧？就像开发者体验，文档已经在那里了。智能体会去看文档，所有这些东西。不过说到这一点，几乎所有让开发者体验好的东西，也让智能体体验好，这差不多是我们在实践中看到的，比如有好的文档、有描述性的错误信息、有快速的反馈循环，对吧？就像，我确实认为有些东西变了。前几天我在用 Cloudflare 设置一些东西，我觉得 Cloudflare 有时用起来出了名地烦人。然后我扔了个智能体上去，它就能直接配置一堆，你知道，东西，还帮我填好了。 而且，你知道，所以我会说，就像智能体那样，它们确实让处理过去比较难处理的东西变得稍微容易了一些，你知道，比如处理 AML 的那种人力负担可以说稍微降低了一点，因为你可以直接，

54:00 你知道，让你的智能体去处理它。但是，但总的来说，我认为，你知道，那些让开发者体验好的东西，也让智能体体验好。我觉得在某种程度上，基础设施随着时间推移，无论如何都会变得，它需要更加程序化。我认为这一直是关于沙箱的论点，就是，你知道，那些你以前不得不用 YAML 配置的东西，应该直接就是一个 SDK。那应该更偏向命令式，比如启动一个沙箱，用它做点什么，拆掉沙箱，对吧？而不是用某种声明式的方式，用，用，你知道，某种 DSL，它还推动了一种以前可能不存在的不同接口。我觉得无论哪种方式，SDK 都和以前一样重要，一如既往地重要，甚至更重要。你们的产品里有什么改变吗？就因为，你知道，大多数人只是在上面跑智能体？有的。我是说，我们也，我们实际上也做很多内部测试，我们有智能体，我们让智能体去，比如构建一个移动应用并运行它。而且，一个很具体又有点好笑的事情是，我们实际上看到，因为智能体的训练数据，现在要弃用东西非常难。我们看到智能体往往喜欢，你知道，喜欢使用旧版本的 modal 语法，而且很难把它们推离那些东西。 所以我们实际上不得不往前走得更保守一点，比如，你知道，在过去一年左右，在弃用和移除功能方面，我们必须非常小心地更新网上每一个示例

55:30。是的。而且，而且，而且，你知道，技能，对吧？是的，有类似那样的东西。但是，但是，还有现在网上也有数量惊人的 modal 代码，它们会进入训练数据。我见过，这算是一个，你知道，有点意思的例子，顺便说另一件事，显然就像类似于搜索引擎优化，有所谓的智能体引擎，你知道，不管人们怎么叫它，智能体优化。我们经常跑内部基准测试，我们会问智能体，比如，嘿，你能帮我们部署一个 stable diffusion 吗？用你想用的任何工具。然后我们看它是否推荐 modal。那些东西对我们随时间追踪非常有用。或者比如，嘿，启动一些沙箱，或者比如，嘿，给所有沙箱供应商排名。所以我们花很多时间做那些事情来确保。你们对此怎么做？是的，你说，嘿，你知道，构建这个 stable diffusion 的东西，它推荐 modal 吗？是的，你们对此怎么做？是的，我觉得那更难。我觉得，你知道，就像搜索引擎优化，我觉得主要靠内容，就是你必须发布大量内容。 在某种程度上，你也可以，比如稍微看到认知，我觉得，你可以问智能体，比如，你知道，按可靠性给所有沙箱供应商排名，或者按价格给所有沙箱供应商排名，然后看看，而且确实感觉智能体更容易，比如误解定价，以及，你知道，诸如此类的事情。所以我们也花很多时间让内容更清晰

57:00，更，你知道，让智能体更容易理解，因为我们知道它们都在索引，比如网上所有存在的东西，所有谈论 modal 的东西。你有没有想过，比如，建一堆 GitHub 仓库，让智能体在里面写一堆 modal 代码？你试过吗？垃圾内容大炮。我觉得事实是，那大概是你确实可以做的事。我的猜测是，如今的 LM 训练数据大概对，比如，AI 输出本身相当不敏感，你大概可以制造大量垃圾内容。比如我们想过，我不太喜欢那个主意。但理论上，就像，你知道，早期的 SEO，而且在某种程度上至今仍然如此，自动生成的内容是一种非常有效的策略。我觉得这是可能的。比如，你知道，你也可以做那些事情。是的。我想转到 FDE。据说你们雇了，比如，前向部署工程师。比如，你们做什么？我们处在一个构建应用的新时代，而且，而且，而且，你知道，那些我们几年前还构建不出来的东西。我们看到很多公司，你知道，它们需要一点帮助，对吧？比如，你知道，所以我们几年前开始投资 FDE，但真正是今年，今年大幅扩大了规模。 我想我们今年开始时大概有四个FDE。现在大概有24个左右。所以我们扩充了很多。他们做的工作，你知道，更多是，并不完全是那种驻场模式，但他们做很多繁重的、你知道，那种客户对接工作。比如他们和很多客户一起做性能调优，尤其是LMS。我们看到，坐下来

58:30和客户一起训练草稿模型、调整参数、DLM和SG Lang，能带来很多好处。他们经常，你知道，修bug或者不是修bug，而是，你知道，当客户遇到问题时，他们经常和客户一起想办法，比如我们怎么绕过这个问题？或者我们用FDE做的另一件事是，你知道，主动地，比如如果我们看到某些客户，你知道，在模型上过度配置，比如客户申请了太多CPU或太多内存，那会挺贵的。我们试着抓住这些情况，试着和那些客户坐下来谈，嘿，你现在在模型上花了很多钱，我们其实可以帮你省钱。当然，还有那些进行中的交易，你知道，我们帮他们把代码从其他平台迁移过来，诸如此类。我想，你知道，我们从来没有打算变成那种服务很重的业务。我觉得FDE的目标是，你知道，第一是参与，你知道，那种销售流程，帮助成交。第二是服务客户，做一些，你知道，客户支持。但我觉得其实最重要的是第三点，弥合产品中的缺口，之后我们想把这些缺口变成真正的功能。 所以我觉得在很大程度上，你知道，FDE做的任何事情，你知道，我的问题总是，长期来看，我们怎么把它变成产品，这样就不需要FDE来做这件事了？是的。你们招PM吗？

1:00:00产品经理？是的。不。你会说这些FDE算是有点像伪PM吗？这有点是不同的职能。我觉得当然在更，你知道，面向客户的那一侧，他们是，但在更，你知道，朝内的一侧，你知道，内部那一侧，这算是产品管理中相对独立的一部分，更多是，Modal接下来应该投入哪些基础构件，还有，你知道，然后中间还有一类，你知道，比如看10个、20个不同的客户，他们都在要稍微不同的东西，但也许模式是什么？我们怎么把它变成产品？我们确实有人和我们一起做产品，而且它算是演化了，你知道，我们有过一些人基本上是在之前做过DevRel或工程师之后成为产品经理的，他们在非常战略性地思考我们必须构建什么方面展现出很强的能力。所以我其实并不反对产品管理。我确实认为过去很多公司太急于招产品管理、产品经理了。我觉得有一种风险，你有点，我能在很多产品上看到，某些产品你能看出来，就是有那种急于求成的产品经理，只是想了些，那种，花哨的小东西，然后就发布出去。我觉得在一家基础设施公司把产品管理做得非常好是非常非常难的，因为我觉得那需要非常深的，你知道，战略思考水平，思考比如什么是基础构件？ 我们一到两年后想处在什么位置？因为事实是，构建基础设施非常难。我们怎么确保最后不会变成35个功能，它们看起来

1:01:30有点相似，但做的都是稍微不同的事情。那种层次的思考，你知道，是非常罕见的。正因如此，我们还没有激进地尝试建立一个产品管理团队。是的，这说得通。你会说你的团队自Genialite以来大概是怎么演化的？因为我猜，是的，我的意思是，你显然在Spotify工作过，你有某种团队结构，现在有了编码智能体，你的团队结构是不是演化了很多？说来有趣，是的，我确实认为团队结构变化了很多，但我其实不确信是Genialite推动了这一点。我觉得特别是，我经常看到的一件事是，出现了一种聚焦，一种摆回做IC的倾向，我其实认为这对整个领域非常非常积极。我觉得，你知道，如果你回看这个领域10年前、20年前，每个人都想进管理层，因为那是获得更多钱、更多认可和更多声望的途径。我觉得这种转变其实在Gen AI之前就开始了，但我确实认为它被AI大大加速了。比如，你知道，我们向Modal的每个人都非常明确地表示，经理还是IC，声望上没有区别。每个人都只是技术员工。你知道，归根结底在于你的贡献，我们看到很多前经理，你知道，转回做IC，因为他们想回去写代码。 于是，你知道，出现了一种转变，不再那么依赖那种非技术型管理者，

1:03:00 每个人，包括我自己，我仍然在 Modal 写很多代码，Akshath 也是，技术团队里几乎每个人，还有很多不在技术团队的人，也仍然在写代码。所以对我来说，这像是一种近期的现象，但我其实不确定它是否一定是生成式 AI 带来的，不过我认为生成式 AI 大大加速了这一趋势，因为它把写代码的成本降得更低，让写代码变得更容易了。那么，如果有非技术人员提交代码，你们怎么审查？你们怎么做代码审查？我们会做代码审查，但我们认为它是可选的。我的看法是，对大多数人来说，代码审查在很大程度上，很多时候只是人们想逃避把东西合并进生产环境的责任。如果你有那种文化，那对我来说，这就是一个信号：你需要在 CD 和 CI 之类的东西上投入更多，尤其是 CI，还有 CD、容器集成，因为那是部署。我们会做代码审查。比如我写代码的时候，偶尔会去问作者，这符合你对事情的思考方式吗？我希望我没有从根本上改变架构，但我们也在内部明确表示，代码审查是相当可选的。而且，如果你只是改文档，如果你只是做一些基础的东西，就别等人来看，尤其是在 AI 时代，你为什么需要一个人来看每一段代码？你不需要。但这确实要求你在内部有非常好的控制，

1:04:30 围绕测试等方面。对，正是这样。比如基础设施公司，我们需要比普通创业公司多一个九，对吧？就正常运行时间而言。但这些是你必须做的投资。你必须构建对……非常有韧性的系统，你必须在所有地方设置速率限制。你必须解耦系统。你必须确保没有任何东西是单点故障。它们必须有极好的测试覆盖率。如今智能体其实非常擅长写测试，这在几年前，我还认为这是智能体缺失的主要能力之一，现在它们其实相当擅长了，因为我觉得写好的测试需要稍微跳出你正在做的事情，几乎要扮演一点反方角色。但现在它们写测试也相当不错了。所以我觉得所有这些都有帮助。你们用前沿模型来写代码，还是试验过开源模型？我们什么都试。不过，是的，我的意思是，很多人在用 Cursor，然后当然还有 Claude 和 Codex，现在很多人也在用 night shift 和所有这些开源的东西或其他技术栈。所以我不一定有很强的立场，我希望人们去实验、尝试不同的东西，我们既用前沿模型，也用开源模型，我们现在正尝试在内部多做一些 dogfooding。既然我们实际上在为很多开源模型运行推理，而且规模非常大。我觉得在大量智能体开发中使用某些内部端点也很有帮助。 所以我们试着稍微推广一下。我读到过一些东西，大概是一年前，或者两年前，

1:06:00 你说过你认为不会有一个大的本地部署业务给你们。你也许改变了看法吗？不，我没有改变看法。我觉得，对我来说，我是个 Claude 极简主义者，也许退一步说，当云计算在 2008、2009 年左右出现时，我的第一反应是，这太疯狂了。我为什么要把我的代码拿到别人的电脑上运行？这太离谱了。然后大约六个月后，我就在这么做了。我觉得，我花了六个月才改变想法。企业大概又花了 15 到 20 年。但你看像 Snowflake 这样的厂商，或者 AWS，我觉得有很多例子，Datadog 等等。云显然在赢，对吧？多租户系统显然在赢。而对我来说，本地部署看起来越来越像一种遗留的商业模式。我其实认为，BYOC、VPC 对等连接，所有这些，对我来说，它们反映了一种过时的安全模型，就是我们需要保护自己网络内的一切，对吧？把网络当作一种模式。而我认为这已经不再成立了，对吧？我们已经转向更真正稳健的安全范式，比如零信任之类的东西。所以对我来说，BYOC 和那些东西，它们看起来越来越

1:07:30 就像过时了一样，至少从安全角度来看是这样。从我们的角度来看也是如此，比如我们对整个基础设施栈拥有完全控制权，我们租用所有硬件，我们部署、我们管理所有基础设施，我们部署并管理健康状态和观测，你知道，所有指标和所有主机。这意味着我们可以非常快速地迭代并打造出更好的产品。我认为这非常、非常有价值，相比之下，你知道，过去那些拥有企业版的客户必须部署在客户环境中，他们必须非常，你知道，他们必须非常仔细地考虑发布管理之类的事情，而我们不在乎。比如如果我们想引入一个新数据库，我们可以引入一个新数据库，因为我们对它有控制权。我们不需要考虑客户能访问什么。所以对我来说，多租户是，是，是的，有太多不同的好处。我的意思是，话虽如此，你知道，如果我们未来要和，你知道，某个非常大的财富500强客户合作，并且，你知道，他们要求BYOC，你知道，我们过去做过这个，我们会给他们一个报价。比如，你知道，那个报价非常高，到目前为止没有人答应过。但是，谁知道呢？比如，你知道，如果价格合适，我还是会去做。而且，我觉得也许另外还有一件我觉得有趣的事，就是，理论上BYOC也可能是一种合作方式，并在某些方面获得容量。比如我们有时和Neolabs合作。那些Neolabs已经有非常大的容量预留。而且，你知道，问题是，你知道，我们如何，如何让他们在已经有容量的情况下运行modal？BYOC可能是一个解决方案。 我们仍然可以把控制平面留在我们的环境中。

1:09:00 而另一面是，我们也许甚至可以在那些容量上运行别人的东西。所以理论上你可以做一些有趣的事情，比如，你可以把所有这些容量聚合成一个大池子。所以我们对其中一些想法感到兴奋。但总的来说，我觉得本地部署，我不知道我们是否会做。但BYOC，也许自带云。我可以说BYOC。我应该解释一下。假设，你要融资，我应该很快融更多钱。你会用那笔钱做什么？我的意思是，就像我提到的，在这种容量情况下，很多钱，很多现金流，我应该说，所需的是容量、预付款，对吧？所以对我来说，这代表了当今现金的最佳用途。我们正在非常积极地扩大容量。也许未来我们会转向，你知道，其他类型的部署模式，所有权之类的。但我认为总会有现金成分，比如某种首付或预付款或类似的东西。所以对我来说，这是目前现金的最大用途。当然还有其他东西，比如，你知道，工资和办公空间之类的。但事实上，在我们财务的大局中，那基本上是一个舍入误差，对吧？是的，有趣。你觉得这会改变吗？不，我觉得，你知道，我们在这个业务中拥有的那种运营杠杆有点疯狂。比如，你知道，我们有200名员工，你知道，他们花很多钱，但是，你知道，

1:10:30 GPU花的钱多得多。是的。如果你必须说，比如，前三件事，我不知道，比如你或公司目前最大的关注点是什么，你会说哪些？容量和那种财务复杂性。而且，你知道，总的来说，比如，我们如何，我们如何思考那个领域？我们如何思考定价和打包？我们如何思考所有权和租赁之间的那种张力？我们应该更朝着neocloud方向发展吗？我们应该朝相反方向发展吗？那种反向定位，比如，那可能是我思考最多的最大的事情。我思考的第二大的事情大概是，更像产品战略。比如，我经常思考，比如，下一个构建模块是什么？比如，如果我们，你知道，做更多像智能体之类的东西，比如，我们需要什么，你知道，是否有某些存储原语或计算原语？或者总的来说，比如，世界在未来几年醒来会意识到他们需要的东西是什么？理想情况下，到那时我们已经有了。我们总体上一直很擅长，比如，你知道，预测需求并提前构建产品，比如无服务器函数和沙盒。那么下一件事是什么？然后我会说，实际上我思考的第三件事是，更像文化和公司建设之类的东西。我的意思是，我们最近超过了200人。我们增长极快。到年底我们可能会达到250人。 比如，当你发展得非常快的时候，你有250个人，他们都在努力想办法如何为Modal创造最大的价值，并且，你知道，确保他们拥有正确的背景信息，拥有正确的动力，每天都满怀热情地来上班，因为他们能参与打造极其酷炫的东西，

1:12:00而且他们知道，你知道，是什么让Modal成功，他们能做什么，让激励机制保持一致，并确保，你知道，我们、我们、人们拥有一种非常积极的文化，在这种文化中，他们有一种隐含的信任去做好多事情，但同时也有责任感，比如，你知道，交付最好的成果，并且，你知道，如果他们没有做到，就要承担责任，对我来说，在这个规模上，这些都是，你知道，极其关键的事情。比如，当你们只有10、20、30个人的时候，你们都可以，差不多，坐在一个房间里，一切都差不多是心照不宣的，你差不多就能，感觉到它。人们差不多能读懂、读懂我，我有点烦的时候他们能看出来。我开心的时候他们也能看出来，但现在我们有250个人了，人们不一定能看到这些，而且，你知道，当然，有很多新人，他们可能有点紧张，不太敢跟CEO说话之类的。所以，你知道，我如何保持平易近人，我如何，这个，这个，有邓巴数这个东西，我觉得它更像是，你知道，被编造出来的，而不是，而不是真的，至少它背后的故事是这样。但它实际上在某种程度上仍然是真的，比如大约在150、200这个数字附近，我们，打好文化的基础是非常非常重要的。你们明年打算招多少人？过去12个月我们按年化计算增长了大约4倍。 我觉得从相对角度来看，那是一种不可持续的增长速度。我见过，你知道，你可以让团队每年翻一番，那不算特别难，但4倍的话，你开始看到的是，你知道，文化漂移，你开始看到不同工作风格的孤岛。

1:13:30你开始看到人们在做非常投机的事情之类的。这是我在工程团队里一直警惕的。你去跟工程师聊，我问，你在做什么？结果发现他们在做某种边缘性的东西，这真的是你应该花时间做的事吗？所以发展非常快是有代价的，而且你知道，它有人手培养成本的代价。所以我不知道。我觉得到年底，也许250人，大约到明年年底，你知道，但是，你知道，我们会继续增长，也许2.5倍、3倍。所以很可能我们明年最终会达到，比如700人，差不多那样。我假设其中大多数是工程师。大多数是工程师。我们也在大量扩充销售。好。什么样的工程师？主要是系统工程师。我是说，我们一直深耕于，你知道，Linux和文件系统、可扩展系统、网络和云之类的东西。所以这就是我们要找的核心。就是真正擅长这些东西的人。我们也在大量寻找，比如，你知道，更像是，因为我们在技术栈上往上走了一点，比如我们在LLM和前端空间做了很多工作。所以现在我们在处理另一组关注点，围绕，你知道，CUDA和GPU以及MFU，你知道，比如最大化每块GPU能获得的token数量以及很多这类事情。 而且，你知道，尽管我实际上会说那个领域里的很多工作，在我看来，结果仍然更多是系统驱动的，因为结果发现KV缓存和路由实际上仍然非常、非常像系统问题，这些是非常像系统的问题。但是的，稍微

1:15:00更多像是GPU性能那类东西。我们开始组建一个研究团队。我们非常兴奋，你知道，进入围绕，你知道，后训练和蒸馏以及更好的量化方法之类的东西，为客户或为内部。两者都有。我觉得这有点像FDE的情况。我觉得我们最初会跟客户做很多工作来优化他们的模型。但随着时间推移，要想清楚我们如何把这些变成产品。我认为我们在某种意义上可以说会失败，如果每次客户需要优化模型，我们都得去跟他们合作。而且，你知道，长期来看，它必须变成产品。所以有了FDE和研究团队，最初，你得跟客户做很多工作，我们正在做。但随着时间推移，我们也在构建大量内部工具和大量随着时间推移完全自助式的内部产品。所以我们现在在后训练空间做了很多工作，但也在GPU性能空间做了很多。所以很多酷东西。很多酷东西。回到你刚才说的产品战略的东西。是的。是的。比如你怎么想？比如未来一年、两年我们需要什么？我觉得这非常难说。而且如果我说，比如，我确切知道我们需要构建什么，我觉得我会是妄想。 我认为，到目前为止我们所看到的，以及我在更普遍层面上所相信的，就是我们还需要更好的构建模块。这就像是一个新的软件时代，我们正在解锁一种几年前根本无法构建的全新类型的应用。

1:16:30 做所有 GNI 相关的东西、编写代码、输出需要以隔离方式运行的代码的 LMS。就像有太多新的原语需要用来配合 GPU 和 LMS 工作。到目前为止，我们已经构建了一些构建模块，这解锁了过去几年世界所看到的一大批应用。当然，不只是我们的东西。但我认为在未来几年里，会有更多非常酷的东西出现。所以我提到了一些东西。比如我非常看好训练。我非常看好快速任务。我非常看好围绕智能体和低延迟之类的某些东西。但归根结底，我们把自己看作一家基础设施公司，对吧？就像我们并不是在试图构建，你知道，非常狭窄的东西。我们试图构建非常通用的构建模块，并把它们放到客户面前。然后那些客户会把这些构建模块组合起来，构建出一些我们根本无法预料的不可思议的应用。我想过一遍你的一些推文。这将是最后一部分。好的。我们可以，也许你想深入聊聊任何内容。现在有很多长时间运行的持久沙箱相关的东西。今天感觉像是直接迁移。我怀疑沙箱会从开发机演进到云端，再演进到更短暂的东西，每条命令一个环境。现在我在中间插话，所以你可以暂停、继续、克隆。是的。我的意思是，我们谈过很多这个。是的。我们谈过一点，对吧？ 比如我完全，我认为，我认为今天 Modal 里沙箱的中位数大概是八秒长之类的。这有点不可思议

1:18:00 当你想想的时候。而随着时间推移，我认为它可能会变得更短。我们也想支持长时间运行的沙箱。我觉得它们很棒，围绕长时间运行的沙箱有非常合理的用例。但就像我的愿景是，你知道，世界也需要，我们需要弄清楚这就像我们如何能大规模并行化东西，并减少启动和停止沙箱的开销。我不知道我是否已经跑了一个 IP，已经启动了，参与了针对竞争对手的 Catfax 军备竞赛，如果能协调一下并稍微放慢军备竞赛会不错。无可奉告。GPU 稀缺最大的缺点不是很难拿到 GPU，而是几乎所有产能都以三年为期出售，就像一个三年期的矩形，从未来三到六个月开始。那不是大多数用户需求的样子。我想我们也谈过一点这个。是的。而且你知道，也许现在再深入一点。比如我认为 Modal 一直非常非常擅长的一件事就是完全按需的产能，对吧？就像如果客户来找我们，需要 100 块 GPU，我们通常可以立刻给他们，你甚至不需要和销售人员谈。而现实生活中的很多工作负载，它们看起来不像这些平坦的、你知道，矩形的工作负载，它们在 24 小时周期内上下扩展，它们可能随时间增长，它们可能有某些突发时段。对我来说，这是今天很多客户面临的一个挑战。而且我确实认为这对这个领域来说是一个合理的问题，就是获得产能的唯一主要方式就是购买这些矩形块。这并不好。 我认为世界需要，而且从根本上，我的意思是，我非常有偏见，但这就是为什么我认为 Modal 可以在那种，你知道，随你怎么

1:19:30 称呼它，那种时长转型中发挥非常大的作用，提供更灵活的产能。我们能做到这一点，是因为我们可以聚合成千上万的客户，需求会变得非常平滑和聚合。所以这就是 Modal 价值主张的很大一部分，正是如此。你会说这是一个差异化因素吗？比如，哦真的吗？好的。是的。巨大的差异化因素。实际上，事实上，比如，我认为，Modal，如果你想非常简化地说，你可以把 Modal 的价值主张分解成两件事。一个是开发者体验，能够迭代和构建东西，而不必考虑基础设施。另一件事是产能相关的东西。我越多地思考 Modal 以及我们长期要走向哪里，就越觉得我们正在构建，我们正在聚合世界的计算产能。而且我们非常擅长非常细粒度地切分它，因为我们围绕，你知道，极快地扩展和收缩构建了所有这些工作，你知道，所有围绕 GPU、快照、以某种方式让它快得多的东西。而这个模型在非常大的规模下运作得真的非常非常好，因为你可以聚合很多客户。每个月我一直在说，或者说沙箱收入可能适用于它，但它每个月持续增长 30%。这有点疯狂。就像我不理解，你知道，每个月我都想，好吧，你知道，沙箱增长了很多，但显然会有点平台期，然后它们继续增长得更多。所以我，我，我不知道。而很多风投，他们就像，你怎么知道沙箱会变得很大？ 我是说，事实是，我确实没想到，我原以为2023年它的规模肯定会比实际更大。但沙箱如今占我们收入的三分之一，这简直太疯狂了。你知道，我们显然对此非常高兴。而且我们有一支非常大的团队在投资

1:21:00 沙箱业务。你知道，我不想轻视这件事。显然，我们确实想给自己很多功劳，因为我们在2023年甚至更早就看到了沙箱今天的潜力。但我觉得，你知道，我大概永远不会打赌说沙箱带来的收入会有这么大、市场需求会有这么多。推理服务商应该与模型构建者分开存在，这有一个有趣的结构性原因。最好的模型一直在变，而推理服务商可以轻松地在不同模型之间重新分配资源，因为总体需求相当平滑。所以我的意思是，如果你想想所有中国实验室，以及你知道，未来希望还有更多美国实验室，每当一个新实验室发布，你知道，最新最强大的开源模型时，你就能看到这些模型的需求出现巨大变化。所以我认为，一个挑战是，你知道，如果所有这些实验室都各自独立持有产能，它们会发现发布新模型时需求会大幅上升。然后另一个实验室发布了更好的模型，需求就下降了。你知道，但当然，在幕后，他们在开发下一个版本。所以我觉得，你知道，就像我说的，有一个结构性原因，解释为什么你会开始看到需求逐渐转向最新最强大的中国实验室。 我是说，并不是说，你知道，这一切会一夜之间改变，因为很多模型和提示词之类的东西，很多东西都有一定的粘性。但我确实认为，你知道，有一种观点是，模型很容易做到，你知道，对，今天我们为一个模型运行，你知道，X千块GPU。明天我们需要把其中比如50%转移到另一个模型。

1:22:30 当然，这就像，这就是系统被构建来处理的事情。甚至不需要有人告诉我们要这么做。它就会神奇地做到。所以你同意基本上LLM是大宗商品？如果你同意，那么你认为大实验室的业务会变成什么样？我不确定这是否一定正确，对吧？比如，泰勒·斯威夫特是大宗商品吗？她发行一张大专辑，去巡演，赚很多钱。然后，你知道，然后她去录音的时候，就有一段低谷期，我不知道，这是最好的类比。然后她发行一张新专辑，你知道，所以我不知道，她仍然有很大的品牌，有很多，你知道，力量和很高的利润率。所以，只要实验室能反复推出新模型，只要他们在这些模型上的利润率能让他们摊销训练这些模型的成本，我认为这仍然可以是一门不错的生意。所以你不认为智能会停滞？不，我不这么认为。我是说，我认为这还有待观察，对吧？比如，今天的模型非常擅长做那些可以通过强化学习高效训练的事情，你知道。 所以我们已经看到，最初是在，你知道，编码和编写简单代码片段方面，随着时间推移，它在编写生产级代码方面也变得非常擅长。它在数学方面变得非常擅长。它在网络安全方面变得非常擅长。这些都是非常可验证的事情。我仍然认为还有待观察，你知道，我们的模型是否会非常擅长比如做饭，或者我不知道，像那些目标更

1:24:00 模糊、反馈循环可能更长之类的事情，我觉得人类大概，我的感觉是，在这些领域，人类会在很长一段时间内相当出色，与模型相比很有竞争力。但你知道，当然，你知道，AI模型，它们正变得非常出色，我相信每个人都会同意。是的，所以显然，模型在编码方面变得非常擅长，它们已经在编码方面非常擅长了。你认为还有哪些目前可能没那么大的应用，会在未来几年变得巨大？对于LLM来说？我不知道，但我认为任何具有某种可验证计算生物学的领域，我想你提到过。是的，计算生物学，我觉得那些，不完全是可验证的，但有一些方法可以进行模拟，比如你可以用LLM输出预测，然后你可以用计算之类的方法来模拟分子动力学，获得某种反馈循环。我是说，我觉得材料科学也许是另一个领域，那里有类似的循环，你可以，你知道，合成制造某些材料并测量其特性，把智能体放进循环中，你知道，做事情。所以，你知道，我有物理学背景，我对此相当兴奋。所以药物、材料，还有什么？ 我一时想不起来了，但我相信还有很多其他东西。酷。我是说，这些就是我的全部问题了。你还有什么想谈但我没问到的吗？我很好。这很棒。这很有趣。太棒了。谢谢。

关于本集的讨论

准备好了解更多了吗？