Snorkel，一家前沿 AI 数据实验室，负责开发和验证复杂数据集，以训练和评估 AI 系统。Snorkel 的智能体数据平台将人类专家与持续学习的专用智能体相结合，以更快地产出更高质量的数据。Snorkel 的平台支撑着在前沿 AI 实验室和顶级企业中处理数万亿次查询和记录的系统，支持数据整理、模型评估和智能体基准测试。
]] ]]]][![![![ [![评估是 Snorkel 工作中一个核心且不断增长的部分：构建严谨的基准测试，并运行大规模模拟，以验证模型性能的提升。如今，Modal 为 Snorkel 正在评估的开源权重模型提供推理支持，同时每月还为数百万次模拟提供 GPU 和 CPU 沙箱。
]] ]]]][![![![ [利用 GPU 和 VM 沙箱创建逼真的环境
] ]]]][![![![ [![Snorkel 需要在大规模下对各种模拟进行建模。他们会在广泛的任务范围内评估智能体：编程（他们是 Terminal-Bench 的贡献者）、基础设施、机器学习工程等。
]] ]]]][![![![ [![准确测量一个智能体需要为它创建一个逼真的工作环境。没有逼真的环境，就很难判断智能体失败是因为缺少所需的工具，还是因为其自身能力不足。但智能体需要哪些工具，在 Snorkel 创建的各个基准测试中各不相同。 一个机器学习智能体需要访问 GPU 来训练模型，而一个基础设施智能体可能想要访问完整的 Linux 内核。
]] ]]]][![![![ [![Snorkel 使用 Modal 的沙箱来复现复杂环境，包括多服务系统和启用 GPU 的工作负载。全面的 GPU 沙箱支持是他们团队的一项需求，而 Modal 是唯一能够大规模满足其需求的沙箱提供商。同时为 GPU 和 CPU 沙箱使用同一家提供商，也简化了他们的基础设施和成本跟踪。
]] ]]]][![![![![![“要让智能体模拟具有意义，环境必须能够代表智能体将要运行的真实世界。Modal 的 VM 沙箱让我们能够重建复杂的、类生产系统——从多容器基础设施工作负载到支持 GPU 的深度学习环境——并应用于我们每月运行的数百万次模拟中。”
Snorkel 每月创建数百万个沙箱，而它们的高峰往往达到每小时数万个沙箱。随着新模型发布或“旧”模型被调优，Snorkel 团队会让它们针对公共和专有基准测试的混合集运行。 这些整体评估具有时效性，因为客户通常希望能在一天内知道某个模型是否可能在其用例中表现良好，这意味着需要高沙箱并发能力——就像 Modal 所提供的那样——是一项硬性要求。
]] ]]]][![![![ [通过内存突发将成本降低 20%
] ]]]][![![![ [![此前，Snorkel 团队在配置沙箱时会估算其智能体的 CPU 和内存需求。在某些情况下，智能体会因为沙箱没有足够的资源来完成任务而失败，导致该次运行的结果无效。在其他情况下，资源被过度配置，导致支出效率低下。
]] ]]]][![![![ [![估算智能体的资源需求尤其困难，原因有两个：沙箱内的资源使用呈尖峰状，而且工作负载形态并非静态可知。在沙箱的生命周期内，常常会出现一段不活跃的时期——比如等待 LLM 响应时——随后在运行 grep 命令之类的操作时出现尖峰。 由于在沙箱中运行的所有代码都是由 LLM 生成的，因此也很难估算具体的资源需求。对 Snorkel 来说尤其如此，因为他们运行的基准测试种类繁多。
]] ]]]][![![![ [![为了简化资源配置，Snorkel 开始采用 Modal 的突发（bursting）能力，即单个沙箱可以在特定时刻弹性扩展其所需的内存或 CPU 资源。客户按沙箱在某一时刻实际使用的资源或最初请求的资源中较高者计费。他们目前仍处于采用的早期阶段，约 10-15% 的 Snorkel 沙箱使用了突发能力。
]] ]]]][
突发能力使得在配置时分配 CPU 和内存、同时在运行时保持灵活性成为可能。对 Snorkel 团队而言，这意味着运行的可靠性提高了，因为因资源限制而失败的运行数量减少了。突发能力还让 Snorkel 能够降低其为沙箱请求的资源量，同时不损害可靠性——从而带来了可观的成本节省。
]] ]]]][![![![![![“我们需要支持来自中小企业或智能体的任务，同时避免过度配置基础设施。突发能力让我们在配置和运行时都能保持灵活性，避免过度配置，并为我们节省了约 20% 的沙箱总账单。”
服务开源权重推理
] ]]]][![![![ [![运行模拟不仅需要环境，还需要推理。Snorkel 团队需要快速搭建端点、运行基准测试，然后在新模型和微调模型上将其下线。
]] ]]]][![![![ [![有时，比如在对新模型进行 d0 评估时，Snorkel 可以使用现成的端点。其他时候，他们需要托管并提供客户微调过的自定义模型。
]] ]]]][![![![ [![Snorkel 混合使用 Modal 的共享端点和专用端点来提供推理服务，这使他们能够快速部署模型并加载自定义权重，而无需基础设施团队介入。
]] ]]]][![![![![![“Modal 的无服务器 GPU 意味着我们可以自带模型或使用共享推理，将推理用于不同的基准测试，同时实现快速且可靠的扩展。”
接下来
] ]]]][![![![ [![智能体不断产生新的基础设施需求，Snorkel 的基准测试也必须跟上。在 Snorkel 与 Modal 合作的大约六个月里，他们随着 Modal 推出新能力（如 VM 沙箱）而陆续采用。
]] ]]]][![![![![![“有了智能体，基础设施就变成了一项非常有趣的挑战，而快速行动的能力至关重要。AI 行业的核心就是快速行动，而 Modal 与我们一同快速前进。”
目前，Snorkel 依靠 Modal 运行推理，并使用 Sandboxes 为其模拟提供支持。未来，他们计划将 Modal 作为训练解决方案进行评估，从而能够利用其数据完成从训练到评估的模型改进全流程。
]] ]]]][![![![![![“归根结底，改进模型需要两样东西：数据和算力。Modal 让我们能够专注于数据，同时为我们的算力提供基础设施。”