[

本周在盐湖城举行的 KubeCon 上, Google 将 gVisor,包括其名称和商标,捐赠给 云原生计算基金会(CNCF), 并且该项目正转向由维护者主导的治理模式。 Modal 与蚂蚁集团和 Tines 一起,是承诺加入 gVisor 维护者行列的三家公司之一, OpenAI、腾讯和 NVIDIA 则继续贡献。

自成立以来,gVisor 一直是 Modal 的主要容器运行时。我们希望有一个安全的容器运行时,能够提供 GPU 支持,并且比 runc (业界默认运行时)提供更强的保障;自那时起,我们一直致力于让 gVisor 成为市场上最安全、性能最高的 AI 工作负载运行时。

我们每天启动超过 4000 万个 gVisor 容器。这包括 GPU 推理、多节点训练、AI 编码智能体、沙箱等。

因此,以下是我们押注 gVisor 的原因、我们在其中构建的内容,以及我们认为它接下来应该走向何方。

一段话了解 gVisor

在 Linux 上,普通容器共享宿主机内核。你的代码发起的每一次系统调用都落在运行其他所有人代码的同一个内核中,因此单个内核缺陷或漏洞就可能让代码逃逸出容器并危及整台机器。gVisor 增加了一个独立的应用程序内核,称为 Sentry,用 Go 编写,位于容器与宿主机之间。Sentry 自行实现 Linux 系统调用接口,只向宿主机请求一小部分经过过滤的操作。你的程序看到的是 Linux。宿主机看到的是一个行为良好的进程。

gVisor 的安全性是分层的。第一层是 Sentry 本身:它用自己的实现处理应用发起的每一次系统调用,因此应用从不与宿主机内核通信。第二层则假设第一层可能失效。反过来,Sentry 又用保护普通容器的同一套 Linux 原语进行了加固。命名空间为它提供进程、网络和挂载的私有视图。 pivot_root 使它拥有一个空的根文件系统。cgroups 限制它可以使用的 CPU 和内存以及它可以访问的设备。严格的 seccomp 过滤器只允许 Sentry 所需的少数宿主机系统调用,并校验其中许多调用的参数。要触及宿主机,攻击者必须先攻破 Sentry,然后再突破这层加固。

How gVisor isolates a container

gVisor 不需要硬件虚拟化,这使它能够在任何 Linux 机器上运行。这包括那些无法使用嵌套虚拟化或嵌套虚拟化很慢的云虚拟机,以及构成我们在数十家云服务商中大部分机群的裸金属 GPU 服务器。与普通容器(即 runc)相比,它为我们提供了租户之间真正的安全边界。

Modal 为何运行在 gVisor 上

Modal 的基础是一个自定义容器运行时,它实现了客户所期待的规模和性能。作为基础设施提供商,我们在共享机器上运行他人的代码,数量巨大、来源众多,规模可从 一分钟内从零扩展到一百万个沙箱。但我们也必须隔离所有这些代码,这给我们带来了一组相当苛刻的要求:

  • 多租户需要一个真正的边界。 当代码可能是某人在一分钟前通过提示词让模型写出来的时候,共享的宿主机内核并不是一个可接受的边界。
  • GPU 必须开箱即用。 gVisor 的 nvproxy 让沙箱进程通过一个代理来使用 NVIDIA GPU,该代理能够理解并校验驱动的 ioctl 接口,而不是把原始驱动暴露给容器。GPU 内存和计算保持原生。
  • 启动必须快。 gVisor 可以在约 25 毫秒内启动一个沙箱,内存开销仅为 12 MB。
  • 状态必须可移植。 gVisor 可以对整个沙箱(每个进程、文件和套接字,以及配合 cuda-checkpoint(包括 GPU 内存),并在另一台机器上恢复它。这就是……的基础。 Modal 内存快照 以及 Modal 内存快照.
  • 它必须在我们运行的所有地方都能运行。 无需嵌套虚拟化,也无需自定义宿主机内核,因此同一个沙箱可以在我们采购的每一朵云和每一台裸金属服务器上运行。

Google 的公告将 Modal 描述为 少数几家销售通用型 gVisor 驱动计算服务的提供商之一我们认为这种情况即将改变,而加入 CNCF 是其中的重要原因。

数据一览

gVisor at Modal scale

自2023年以来,Modal 一直是 gVisor 的贡献者,此后我们大幅加大了向上游推送的力度。今年,我们围绕它组建了一支团队,以更好地满足客户的需求。

我们构建了什么,以及向上游贡献了什么

我们的客户在 gVisor 上给我们带来了大量工作:支持新的 GPU、让性能分析器跑起来、从共享内存中再挤出几个 GB/s。我们完成这些工作,并把改动提交到上游。Modal 将其绝大多数补丁以开源形式发布,随着我们加入项目的维护者行列,我们也在向该项目投入更多的工程时间。

Modal's contributions to gVisor in 2026, per quarter

GPU:让 nvproxy 与 NVIDIA 保持同步

nvproxy 是 gVisor 中让 GPU 得以工作的部分。它必须理解 NVIDIA 用户态驱动发送给内核驱动的每一个 ioctl 调用,而 NVIDIA 会随驱动版本更新改变这一接口。我们已向上游提交:

  • 支持新的 GPU 和驱动。 支持新发布的 NVIDIA 驱动版本,以及 Blackwell 和 RTX PRO 6000 等较新 GPU 所缺失的部分。
  • 多 GPU 工作负载。 同一台服务器中的 GPU 可以通过 NVLink 直接相互通信,包括 NCCL 在大型 H100 和 H200 服务器上使用的 NVLink 特性。进程之间可以共享 GPU 内存,NCCL 依赖这一点在同一台机器上的 GPU 之间移动数据。借助 CUDA MPS,多个进程可以高效地共享一块 GPU。
  • 图形、模拟和视频。 Vulkan 和无头 OpenGL 渲染,以及 NVIDIA 的硬件视频编码器和解码器。这涵盖了 MuJoCo 和 NVIDIA Omniverse 等机器人仿真器,以及 FFmpeg 中的 GPU 视频管线。
  • 监控。 nvidia-smi 以及 NVIDIA 的 DCGM 监控工具可在沙箱内运行,包括按进程统计的 GPU 利用率。
  • 性能分析与调试。 NVIDIA Nsight Systems 和 Nsight Compute、Blackwell GPU 上的硬件追踪,以及用于调试崩溃内核的 GPU 核心转储。
  • GPUDirect RDMA。 GPU 内存可以直接交给网卡,因此数据在不同机器上的 GPU 之间传输时无需绕道 CPU。正因如此,我们才得以在 gVisor 中运行 ModelExpress 在 gVisor 中(更多内容见下文 RDMA 部分)。

结果是,如今各种各样的复杂和小众 GPU 工作负载都能在 gVisor 中运行。

RDMA:沙箱内的多节点训练

在构建多节点支持时,gVisor 尚不支持 RDMA——于是我们添加了该支持,并将改动向上游提交。多节点训练中,不同机器上的 GPU 通过 InfiniBand、RoCE 或 EFA 交换梯度,此前必须在沙箱之外运行。我们构建了 rdmaproxy,这是一个面向 RDMA verbs 接口的新型 gVisor 设备代理,仿照 nvproxy 设计。容器获得网卡的真实数据路径,而 gVisor 负责校验控制路径。

  • 支持 NVIDIA ConnectX(InfiniBand 和 RoCE)以及 AWS EFA。
  • 在沙箱内构建 RDMA sysfs 拓扑,使 NCCL 能将每个 GPU 与正确的网卡配对。
  • 同时支持基于 UCX 的数据平面以及 NCCL。
  • 在 NCCL all-reduce 基准测试中达到约 99% 的原生总线带宽。

这就是让我们得以将 Modal 集群正式全面可用 ,并支持在 gVisor 中运行多节点作业。

GPUs and RDMA in gVisor

快照:在数秒内恢复 GPU 状态

Modal 内存快照 利用 gVisor 的检查点/恢复功能,在容器加载模型后对其进行捕获,然后在数秒内于新机器上恢复该状态。每天约有 67 万个 gVisor 容器从快照中恢复。

文件系统与内存性能

I/O 性能一直是 gVisor 中长期存在的问题。AI 工作负载经常会走到这些路径上,因此我们最近在上游的许多工作都集中在这里。一些例子:

  • 基于共享内存的 PyTorch DataLoader: 在 gVisor 的内存分配器中回收大页,使一项批量传递基准测试从 2.9 GB/s 提升到 22 GB/s(约 8 倍),同时保持内存占用平稳。
  • 文件系统: 我们优化了 gVisor tmpfs,使 SQLite 提速 2.7 倍。我们还提交了一系列 overlayfs 优化,减少了常见路径上的文件数据复制上移。

更多开箱即用的软件

gVisor 自行实现了 Linux 接口,因此每个在 Modal 上运行的应用,同时也是对该实现完整程度的一次检验。我们的客户运行着种类繁多的软件。当他们带来新软件时,我们会确保它能在 gVisor 中良好运行,并将改动提交到上游。近期新增的部分包括:

  • 数据库:ClickHouse 在 gVisor 沙箱中运行,包括其用于管理表的原子文件交换。
  • JavaScript:Bun 应用,例如 OpenCode 编码智能体,可与 Modal 内存快照配合使用。
  • 桌面应用:基于 Qt 5.15 构建的应用可在 gVisor 中运行。
  • 云存储:Amazon S3 的 Mountpoint 可以将 S3 存储桶挂载为沙箱内的文件夹,并以大块、快速的方式写入。
  • 日常工具:top 和 htop 在沙箱内显示真实的 CPU 使用率。
  • CPU 推理:PyTorch 在 CPU 上使用的 oneDNN 等数学库,可以利用处理器的快速 bfloat16 和 int8 指令。
  • 大型代码库:即使工具扫描数百万个文件,沙箱依然保持精简,而编码智能体正是经常这样做。

我们对 gVisor 的愿景

我们认为 gVisor 应当成为在 Linux 上运行不可信代码的默认方式,尤其是作为 AI 计算的默认隔离层。为此需要做到以下几点:

  1. 默认安全,快到让人无需挂怀。 隔离不应成为你必须在性能上权衡的负担。这意味着接近原生的 I/O,并把像我们这样的提供商此前在自己分支中承担的优化工作移入上游。
  2. 每一个加速器,从第一天起。 NVIDIA 的新驱动和 GPU 应当在发布当天就能在 gVisor 中正常工作。我们希望为 TPU 和 AMD GPU 提供类似的一流支持。
  3. 沙箱密度。 利用 gVisor 的资源效率构建非常经济的沙箱,能够处理各种各样的智能体任务。
  4. 可移植状态。 对任何对象(CPU、单块 GPU、多块 GPU)进行快照,并可在任何地方恢复。
  5. 开放且多厂商。 中立的治理让许多公司能够安心投资,而正是这些投资让这份清单上的其余事项得以实现。

下一步

我们希望 gVisor 成为运行 Linux 程序最安全的方式,同时也能解决当今 AI 行业面临的诸多性能问题。以下是我们正在推进的一些项目:

  • 多 GPU 内存快照。 如今,Modal 可以对在单块 GPU 上运行的程序进行快照。我们正在将这一能力扩展到跨多块 GPU 的模型。在早期测试中,大型模型的恢复速度比普通的冷启动快数倍。这一功能将很快作为实验性特性在 Modal 上线。
  • GPUDirect Storage。 GPU 可以直接从高速存储读取数据到自己的内存中,跳过通常经由 CPU 的中转。这是将大型模型的权重加载到 GPU 上的最快方式,我们正把它引入 gVisor。
  • 几秒内即可启动的推理服务器。 推理服务器启动的大部分时间都花在加载模型权重和预热上。我们希望只对服务器预热一次,把它的权重放在一边,然后对其余所有内容(包括已编译的内核、CUDA 图和 KV 缓存内存)做一个小型多 GPU 快照。新的副本随后恢复该快照,并将权重直接从存储(通过 GPUDirect Storage)或其他 GPU(通过 RDMA)流式传输到 GPU 内存中,因此即使是超大型模型也能在一分钟内开始提供服务。
  • 云游戏和远程桌面。 我们希望 GPU 沙箱能够运行整个桌面环境:在 NVIDIA 驱动上运行显示服务器,让游戏和 3D 应用在其中绘制画面,并在 GPU 上捕获屏幕,再通过网络流式传输给玩家。这包括通过 Steam 的 Proton 运行的 Windows 游戏。
  • GPU 的更小切片。 nvproxy 中的 MIG 和 vGPU 支持。
  • 以及对 AMD 和 Grace Blackwell GPU 的支持。
  • 基于内核模块的 gVisor 优化。

来看看吧!

感谢

感谢 Google 的 gVisor 团队打造了值得捐赠的项目,并出色地完成了移交工作。特别感谢 Etienne Perot、Jing Chen、Steve Silva、Jago Macleod 和 Drew Bradstock 推动此次 CNCF 捐赠。

]