人工智能
借助新一代 AgentCore runtime,安全高效地运行智能体AI 智能体已经超越了单次提示的阶段。它们现在可以连续数小时运行多步骤工作负载。前沿智能体能够独立完成的任务时长大约每四个月翻一番(METR),并且 40% 的大型企业正在扩大 AI 智能体的规模,高于一年前的 27%(麦肯锡)。随着智能体运行时间更长、自主性更强,关注点已从智能体能做什么,转向它们如何在大规模下安全、可靠且经济地运行。智能体所做的不仅仅是传统软件:它们执行代码、浏览网页、访问敏感数据,并代表用户行事。这些能力带来了新的安全和基础设施需求,使得强隔离成为生产部署的必要条件。
每个智能体会话都需要一个安全、隔离的环境。但大规模提供这种隔离带来了一个根本性挑战:平衡性能、成本和效率。预配置环境即使在空闲时也会消耗资源,推高成本。按需环境减少了容量浪费,但会引入冷启动延迟,拖慢智能体执行。两种方法都无法在没有取舍的情况下高效扩展。随着组织从部署少量智能体转向运行数千个并发会话,构建和管理自定义沙箱变得越来越复杂、昂贵且不可预测。
挑战显而易见。只有 15% 的组织扩大了编排式多智能体系统的规模,而 70% 的组织表示他们尚无法信任和治理其智能体(德勤)。扩展智能体不应意味着在安全、速度和成本之间做选择。下一代智能体基础设施必须提供强隔离,同时具备快速启动时间、弹性扩展和基于用量的经济性。因为随着 AI 智能体进入生产环境,安全执行不应成为瓶颈。它应当成为使规模化成为可能的基础。通往生产的最快路径也应当是最安全的路径。
新一代 AgentCore runtime
我们构建了 Amazon Bedrock AgentCore ,帮助开发者大规模安全地构建、连接和优化智能体。AgentCore runtime 是 Amazon Bedrock AgentCore 的一项能力,是托管计算层。它为开发者提供了一个完全托管的環境,无需构建或维护基础设施即可部署和运行智能体。自推出以来,我们的客户一直在将他们的智能体推向日益复杂的工作负载。随着这些工作负载的增长,对执行环境的要求也随之提高:更多算力、更灵活的计费方式,以及不仅限于计算、还延伸到数据的信任边界。只有当底层基础设施同时为规模和速度而构建时,智能体才能大规模进入生产环境。
今天,我们宣布对 AgentCore runtime 进行更新,以满足这些需求。核心保证依然不变:每个会话都在其自己的硬件隔离 Firecracker 微虚拟机(MicroVM)中运行,拥有自己的身份、策略和审计跟踪。这些更新在这一保证范围内扩展了可能性。会话现在的启动速度提升至多 15 倍,算力扩展至 4 倍,运行效率提升至多 68%,同时隔离边界完全完好。
以下是新增内容。
运行更大的工作负载,而无需等待更长的启动时间
构建日益先进智能体的团队要求更大的灵活性:能够在隔离会话内扩展内存和算力,以匹配其工作负载的需求。从大型代码库编译到浏览器驱动的工作流再到本地模型推理,执行环境需要跟上步伐。
会话现在相比上一版本扩展 4 倍,最高支持 8 vCPU 和 32 GB,并支持最大 10 GB 的容器镜像。会话启动时间低于 2 秒,不受镜像大小和并发影响。您不再需要热池和预配置集群来管理冷启动。
“迁移到新一代 AgentCore runtime 后,我们的智能体会话冷启动时间从近一分钟缩短到五秒以内,即使在流量高峰期也是如此。它还消除了超过 30 秒的启动延迟,同时我们的每周智能体数量增加了一倍以上。”
— Siwei Shen,Coinbase 工程副总裁
“Mission 正在使用 Amazon Bedrock AgentCore runtime 来驱动一个自然语言查询智能体,帮助用户检索房产和销售洞察,而无需浏览复杂的数据系统。在我们对两个 runtime 版本的初步比较中,相同工作负载的推理请求冷启动速度提升了 35%,健康检查启动速度提升了 77%,同时每次调用的实测运行时成本降低了 17%。新的 AgentCore runtime 为我们提供了更快的智能体体验和更高效的资源利用这一引人注目的组合,助力我们将企业智能体投入生产。”
— Ryan Ries 博士,Mission Cloud 首席 AI 与数据科学家
“我们的方法是尽可能用自动化和 AI 智能体来运行 Zuora 的云,而这只有在 runtime 高效可靠的情况下才行得通。新一代 AgentCore runtime 在许多用例中将我们每次调用的内存占用减少了约 60%,同时在稳定延迟下处理更多流量。这在我们于整个平台扩展智能体工作负载时为我们提供了更强的成本优势。”
— Brad Ruppert,Zuora 云与安全副总裁
“Rescale 平台通过智能体化数字工程帮助研发和工程团队加速产品开发。我们针对工程的智能体验证仿真输入、排查作业故障、选择硬件并生成报告,而工程师始终保持控制。Amazon Bedrock AgentCore runtime 使我们能够在生产环境中部署和扩展这些智能体,而无需构建或运营底层智能体基础设施,因此我们能够更快地向客户交付新的智能体。”
— Mark Whitney,Rescale 工程副总裁
不再为闲置智能体付费
随着团队将智能体推向生产环境,他们要求计费方式能够反映智能体的实际工作方式。智能体大部分时间都在等待模型响应、工具调用或人工决策。智能体应当按其完成的工作计费,而不是按其等待的时间计费。
运行时现在会在智能体释放内存后的几分钟内回收内存,空闲智能体会缩容至零。对于交互之间存在自然停顿的多轮智能体,这意味着每个会话的内存消耗最多可减少 68%。对于始终在线的智能体,承诺基线定价为每个会话设定内存基线,按最低用量计费,并可按需突发至该基线的四倍。这为稳定工作负载提供了可预测的费率,按 AWS Lambda MicroVM 费率计费。运行时更高效地利用算力,因此相同工作量的费用更低。这让常常阻碍生产部署的财务讨论更容易达成一致。
“新一代 Amazon Bedrock AgentCore runtime 通过更快启动智能体和更高效地使用内存,帮助我们交付响应更迅速的 AI 体验。将消耗与实际使用量对齐,让我们的客户有充分信心扩展智能体解决方案,同时使成本与实际需求保持关联。”
— Ashwin Patil,Deloitte Consulting LLP 董事总经理、AI 与数据负责人
“AgentCore runtime 为我们提供了一个托管基础,用于围绕客户的数据、工具和业务流程构建智能体产品和平台。新一代 AgentCore runtime 通过恢复已初始化的环境并回收未使用的内存,使这一基础更加响应迅速、资源高效。我们正开始基于最新版本进行构建,因为成本和延迟的降低对我们客户的业务运营方式产生了显著影响。”
— Randall Hunt,Caylent 首席技术官
隔离现在延伸至你的数据
许多企业在智能体安全模型上面临一个持续存在的缺口。智能体在隔离会话内运行,但它所需的数据却位于该边界之外。长时间运行的智能体会在使用过程中不断获取上下文:文件、凭证、工具输出等。团队最终不得不自行制定数据进出规则,每新增一个智能体都会增加复杂性和风险。
仅止于计算的隔离只是边界的一半。新一代 AgentCore runtime 弥补了这一缺口。每个会话仍在其自己的硬件隔离环境中运行,拥有自己的身份、访问策略和审计跟踪。智能体现在可以动态挂载工作内容并将其保存到文件系统,例如支持 FUSE 的 Amazon Simple Storage Service(Amazon S3)存储桶。你的数据在整个作业期间都留在信任边界内,由你一次性定义的一套控制措施统一管理。
“在 Okta,AgentCore runtime 与 Lambda MicroVM 的结合提供了我们的智能体所需的隔离执行环境和上下文记忆,使其能够在临时沙箱中检查代码、运行测试套件并提交拉取请求。结合我们受身份治理的策略控制,AgentCore Runtime 和 Lambda MicroVM 展示了我们如何安全地扩展自主工程智能体,而不会带来工作区泄漏或权限提升的风险。”
— Monica Bajaj,Okta 工程高级副总裁
“从帮助购车者评估置换价值,到帮助经销商预约服务并构建交易结构,Amazon Bedrock AgentCore 为 Cox Automotive 旗下各品牌提供数十个智能体解决方案。拥有一个统一的、受治理的智能体平台,使我们各业务团队能够有信心地从试点走向生产。”
— Chris Dillon,Cox Automotive 产品与工程副总裁
我们的承诺
能够进入生产环境的智能体,是那些你信任其代表你行事的智能体,它们处理真实数据、承担真实风险并具有真实问责机制。信任不是事后添加的功能,而是你所构建于其上的运行时。本次发布是迈向这一未来的一步:更大的会话、高效的资源利用,以及信任边界内的存储,同时不放松使工作值得信赖的隔离。到 re:Invent 时,按会话作用域将通过会话标记的凭证把每个会话绑定到其自己的存储文件夹,我们将在此基础上继续构建。
开始使用
新一代 AgentCore runtime 现已在北美、南美、欧洲和亚太地区的 AWS 区域推出。访问 Amazon Bedrock AgentCore 进行构建,或打开 Amazon Bedrock 控制台 开始探索。