Abundant 构建强化学习环境,供 OpenAI、Anthropic、Google 和 Meta 等前沿实验室训练和评估模型。实验室通过让模型执行 Abundant 设计的高难度任务、尝试完成任务,并根据结果判定通过或失败,来提升智能体的能力。
每项任务都是一次配备完整环境的强化学习 rollout。模型需要任务说明、明确的目标,以及用于判断任务是否完成的验证器。但它也需要基础设施,包括为运行提供动力的算力、Dockerfile 和隔离环境。根据任务的不同,智能体甚至可能需要 GPU 等加速器。
Abundant 已创建超过 75,000 次 rollout,涵盖从 GPU 内核优化到长周期编码的各种任务,每次都在 Modal Sandbox 中运行。Modal 让其 rollout 基础设施易于构建且运行成本高效,使 Abundant 团队能够专注于核心业务。
在 Modal 上构建 rollout 平台
如今,Abundant 的 rollout 平台几乎全部运行在 Modal 上。Modal Functions 为 Abundant 的调度器 API 提供支持,用于启动任务、清理失效的运行并审查 rollout。Modal Sandboxes 则为 rollout 环境提供支持。
Abundant 最初决定评估 Sandbox 提供商,是因为他们希望避免直接管理 EC2 集群,以免工程时间被从构建强化学习环境这一核心业务中分散。Modal 让他们能够直接用代码构建基础设施、通过 API 轻松启动 Sandboxes,并随着业务增长弹性扩展流量。截至 2026 年 11 月,Abundant 每月运行超过 200 万个 Sandboxes。
“Modal 让我们能够专注于核心业务,而不必担心基础设施能否正常运行。我们可以用代码开展工作,并根据客户在特定时刻的需求扩展流量。”
与 Modal 团队共同设计高效可靠的架构
Modal 与 Abundant 团队合作设计并构建其 rollout 架构,重点打造一个不会让 Abundant 为闲置算力支付高额费用的系统。
每次 rollout 包含几个步骤:启动任务、尝试完成任务、验证工作并报告结果。在整个 rollout 过程中,需要由一个“监控器”确认 Sandbox 是否仍处于活跃状态。
Abundant 曾考虑将监控器托管在 Sandbox 外部,但最终选择把 rollout 监控器置于 Sandbox 内,再使用短生命周期的 Modal Functions 启动 Sandboxes。
Sandbox 内的小型 rollout 监控器会定期发起 HTTP 调用,包括每 30 秒一次的心跳、实时事件以及最终结果。如果某个 Sandbox 没有响应,控制平面会尝试连接三次,然后将其终止。
通过 CPU 和内存突发扩展降低资源请求量
Abundant 还需要解决 Sandboxes 的 CPU 和内存资源消耗速率不稳定的问题。Modal 团队主动指出了这一优化机会,告诉 Abundant 可以利用“突发扩展”来降低 CPU 和内存资源请求量。这是 Modal 的一项独特功能,Sandboxes 会在需要额外资源时自动扩容,并在需求下降后自动缩容。
突发扩展意味着,如果某个 Sandbox 需要的资源超过最初请求量,只要所在机器仍有余量,它就可以使用这些资源。借助突发扩展,原本可能因 CPU 限制而被限速或遭遇 OOM 错误的 Sandboxes 可以继续运行。大多数固定资源配置模式要求团队按照峰值用量为 sandboxes 配置资源,而突发扩展则允许团队按照平均用量提出请求,同时仍能应对峰值需求。
通过降低资源请求量并利用突发扩展,Abundant 团队减少了为闲置算力支付的费用。这也简化了为特定 Sandboxes 分配多少算力的决策。由于 Abundant 设计的任务类型非常广泛,逐一决定分配多少 CPU 和内存十分繁琐,而因 OOM 丢失进度的潜在代价也可能很高。
设计验证器
难以通过奖励黑客手段钻空子的验证器能让模型更有能力,因为模型无法在任务中作弊。因此,打造强大的验证器还包括在 rollout 发布前使用对抗性智能体测试任务。
在早期测试中,Abundant 发现模型偶尔会找到任务说明的副本,从而意识到自己正在接受评测,并导致结果出现偏差。运行基准测试时,至关重要的是让智能体认为自己身处真实世界、自然地完成工作,并接触到与生产环境中相同的环境和信息。
为解决这一问题,Abundant 改变了运行的启动方式,确保在工作完成前删除所有任务说明。他们还创建了一个审查智能体,作为验证步骤的一部分运行,用于审查智能体的行为轨迹,并在智能体表现出评测感知迹象时进行标记。
成果
Abundant 团队总共用了大约两周时间实现这套 rollout 架构。兼具成本效益与可靠性的 rollout 让 Abundant 有时间专注于他们真正关心的事情:确保任务验证的高质量,并帮助 AI 实验室测试和改进模型。
例如,该团队发布了一项名为 Frontier RSI的基准测试,用于测试智能体自我改进的能力。为构建最初发布的结果,Modal 为近 500 次智能体试验提供了超过 1,300 小时的智能体研究运行支持。
“我们的 rollout 基础设施为首个公开基准 Frontier RSI 提供后端支持,该基准用于测试最先进的语言模型及其自我改进能力。Modal 帮助我们高效、可靠且轻松地完成了超过 1,300 小时的智能体研究运行。得益于 Modal,我们可以专注于数据,并设计开放式、多步骤且高难度的任务,从而让智能体变得更强。”
AI 热点