AI News

AI 智能体安全是生命周期,而非一道关卡

The New Stack更新于 11月16日 18:47

AI agent security is a lifecycle — not a gatekeeper

AI 导读

AI 智能体安全需要覆盖 Observe、Enforce、Build、Deploy 四个环节的持续生命周期,而不是单点安全关卡。文章指出,智能体常继承人类凭证,可能执行人类从未授权的操作,因此授权决策应结合智能体身份、委托方、请求操作、目标资源和适用策略,并在操作执行前完成拦截。企业可先观察智能体实际调用的工具、API 和子智能体,再逐步建立确定性边界。

正文 · AI 翻译

企业安全传统上建立在一个相对简单的前提之上:确立身份、验证请求者、确定该身份可以访问什么,并强制执行这些权限。

AI 智能体带来了一个根本性的复杂问题。它们不只是访问系统。它们解读目标、选择工具、创建子智能体、做出决策并执行操作,而且往往使用从人类那里继承来的凭证和权限。

问题未必在于智能体缺少适当的凭证。而在于这些凭证可能授权了人类从未打算让智能体执行的操作。而且与传统软件不同,智能体可以在追求目标的过程中动态改变其执行路径。

“问题未必在于智能体缺少适当的凭证。而在于这些凭证可能授权了人类从未打算让智能体执行的操作。”

这带来了一项新的运营要求:安全机制不仅要评估是谁或什么在行动,还要评估智能体试图做什么、依据谁的授权、以及遵循哪项策略。满足这一要求需要的不仅仅是一个安全检查点。它需要一个持续的智能体安全生命周期。

纵深防御需要在操作层面进行授权

每一天都在进一步表明,智能体安全是一个纵深防御问题。网络安全控制智能体如何通信。端点和运行时保护限制代码在何处以及如何执行。基础设施和基于芯片的保护为可信执行奠定基础。模型护栏帮助塑造行为。这些层次相互补充,企业需要它们协同工作。

但请设想一个智能体试图使用开发者的合法凭证删除生产数据库。网络控制可能看到的是经过授权的流量。运行时可能看到的是经过批准的进程。身份提供方可能确认凭证是有效的。这三者都可能按设计正常工作。

缺失的问题是:这个特定的智能体是否应该被允许执行这个特定的操作,即使它所继承凭证的那个人类本来可以合法地这样做。

这需要在操作发生的那一刻具备身份上下文和授权。

在实际操作中,授权决策应考虑智能体的身份、委托其权限的人类或服务、请求的操作、目标资源以及适用的策略。在操作执行之前强制执行该决策。

智能体执行框架(连接 AI 模型与工具、应用程序编程接口(API)、文件和外部系统的执行层)是实施该控制的重要位置。其他可信的执行点,包括工具服务和资源 API,可提供额外的保护。

目标不是取代现有的防御措施。而是让授权成为智能体执行的固有组成部分。但即便如此,这也只是部分答案,因为真正需要的是一个新框架——智能体安全生命周期。

四项准则,一个持续的安全生命周期

一个实用的智能体安全架构需要四项相互关联的准则:

观察。执行。构建。部署。

这些并不是每个组织都必须依次通过的关卡。它们构成一个持续的生命周期,组织可以从反映其现有基础设施和成熟度的任何环节进入。

一家已有智能体在生产环境中运行的公司,可以从观察其行为开始。一个正在创建新智能体的开发团队,可以从将授权直接构建到其架构中开始。一家正在扩展现有部署的企业,可能会发现需要重新审视其策略的新活动。

每个阶段都为其他阶段提供信息。这个循环永远不会真正结束。

观察:了解智能体实际做了什么

大多数企业都有某种形式的应用清单。越来越多的企业正在将该清单扩展到 AI 智能体。

这是一个有用的起点,但知道一个智能体存在并不等同于了解它做了什么。

安全团队需要了解智能体实际尝试执行的操作:

正在调用哪些工具和 API?

正在执行哪些命令?

正在访问哪些系统和敏感资源?

正在使用哪些凭证和委托权限?

正在创建哪些子智能体,它们继承了什么权限?

哪些操作会违反拟议的安全策略?

仅凭架构图或智能体配置文件无法可靠地回答这些问题。重要的证据存在于执行过程中,这就是为什么智能体可观测性必须超越传统的日志和应用监控。安全团队需要将观察到的操作与身份、委托和授权上下文联系起来。

“知道一个智能体存在并不等同于了解它做了什么。你无法明智地治理你尚未观察到的行为。”

同样重要的是,观察应当支持评估潜在策略,而不会立即中断生产活动。这方面有可借鉴的先例。当入侵防御系统和 Web 应用防火墙被广泛采用时,组织认识到,立即启用激进的阻断规则可能会中断合法应用。先进行监控、建立行为基线,再逐步执行策略,被证明更为切实可行。

AI 智能体需要类似的纪律,尽管其行为可能动态得多。

对于已经部署智能体的组织而言,优先事项可能不是阻断更多活动,而是了解实际正在发生什么活动。

你无法明智地治理你尚未观察到的行为。

执行:为概率性行为设定确定性边界

一旦组织了解了智能体的行为方式,就可以开始定义并执行边界。

概率性 AI 行为与确定性安全执行之间的区别至关重要。智能体在不同执行中可能对指令做出不同解读。它可能选择不同的工具、以不同顺序执行操作,或发现实现目标的替代方式。

安全策略不能依赖于模型始终选择最安全的选项。设想一个有权在源代码仓库中工作的编码智能体。读取文件可能是被允许的。修改受保护分支可能需要人工审批。删除仓库可能是被禁止的。这三种操作都可能来自在同一环境中运行的同一个已认证智能体。但它们需要不同的授权决策。

“概率性 AI 行为与确定性安全执行之间的区别至关重要。目标不是让智能体无法行动,而是让其权限边界明确、可执行且一致。”

有效的执行意味着在执行之前,根据策略评估尝试的操作。一个简化的授权请求可能包含:

主体:编码智能体 42

委托权限:开发者账户 17

请求操作:删除仓库

目标:生产源代码仓库

策略决策:拒绝

重要的架构区别在于,权限检查发生在可信的执行点,而不仅仅是在提示词中指示模型要守规矩。对于高风险操作,系统可以拒绝执行或要求明确的人工审批。较低风险的操作可以自动放行。

执行还需要考虑智能体尝试替代执行路径的情况。仅在执行框架层面检查,只能保护经由该框架路由的操作。因此,稳健的设计会将操作级授权与在 API、工具服务器和底层资源上独立执行的权限相结合。

目标不是让智能体无法行动。

而是让其权限边界明确、可执行且一致。

构建:让身份与授权成为智能体架构的一部分

观察和执行有助于组织保护现有智能体。但最大的长期收益来自这些经验影响智能体的构建方式。

如今,开发者可能使用不同的模型、框架、工具协议和执行环境来实现 AI 智能体。如果每个团队都必须独立设计身份传播、委托权限、授权策略和审计日志,安全性就会变得不一致且难以维护。

相反,这些能力应当作为可复用的基础设施提供。软件开发工具包(SDK)、API 和共享授权服务可以让控制措施更容易直接融入智能体应用。这意味着从一开始就确立若干架构预期。

智能体应当具有可识别的执行上下文。其权限应当被明确委托并受到约束。敏感的工具调用应当需要授权。安全决策和产生后果的操作应当可审计。

重要的是,智能体不应自动继承发起它的人类所拥有的每一项权限。设想一名员工使用 AI 助手核对发票。该员工可能拥有查看发票、批准付款和更新供应商记录的权限。而分配给智能体的任务只需要检索和核对发票。正确的架构是委托该任务所需的权限,而不是该员工的全部权限。

当智能体创建子智能体或以不同服务身份调用工具时,这一区别就更加重要。开发者需要机制,在这些交互过程中保留并约束委托权限。

安全还应能跨实现移植。组织不应在开发团队每次采用新框架或新模型时都重建其授权架构。这就是为什么身份与授权应当成为基础设施,而不是特定于应用的功能。

如果做对了,安全就会成为开发者构建时所依托的东西,而不是安全团队在应用完成后试图补加上去的东西。

部署:让一致的安全在机器规模上成为可能

构建一个安全的智能体是一项挑战。在跨应用、部门、云环境和业务流程中运行数千个智能体则是另一项挑战。在这种规模下,手动审查权限或指望各个开发团队一致地实施控制措施将变得不可持续。

智能体可能会调用新工具、与其他智能体协作,并参与跨越多个授权域的工作流。安全控制措施需要跟随它们。这要求一种部署架构,能够在受支持的环境中一致地应用身份上下文、委托权限、授权策略和审计要求。

底层模型或框架不应决定安全控制措施是否存在。采用新工具也不应要求重建整个安全架构。这正是与框架无关的接口和集中管理的策略尤其有价值之处。组织可以维持一致的安全预期,同时允许开发团队使用最适合其应用的技术。

部署还改变了规模的含义。对于传统应用,规模通常意味着处理更多用户、交易或工作负载。对于智能体,规模还可能意味着更多独立行为体做出更多决策、调用更多工具并创建更多智能体。产生后果的操作数量可能比已部署应用的数量增长得快得多。因此,安全架构必须以机器生成活动的速度自动且一致地运行。

部署还带来了另一样东西:新的证据。生产活动会揭示意外的工作流、新的依赖关系、授权缺口以及完善策略的机会。这些信息会直接反馈到观察和执行环节,并为下一代智能体的构建方式提供依据。

生命周期继续循环。

从作为检查点的安全转向作为基础设施的安全

底层的安全原则并不新鲜。最小权限、零信任、职责分离、身份联合和纵深防御仍然是基础。

正在改变的是这些原则必须在智能体的整个生命周期中以多高的一致性加以应用,以及执行必须与智能体所采取的操作保持多近的距离。传统安全架构通常假设,控制系统访问就足以管控之后发生的事情。

AI 智能体挑战了这一假设,因为它们可以在已被授予的访问权限内独立做出产生后果的决策。因此,安全模型需要在三个重要方面演进。

第一,可见性必须基于智能体的实际行为,而不仅仅是配置。

第二,授权必须在身份、委托和策略的上下文中评估单个操作。

第三,这些能力必须成为可复用的基础设施,伴随智能体从开发到生产,再回到持续改进的整个过程。

这就是为什么将智能体安全视为一个生命周期,而不是一组孤立控制措施,至关重要。观察提供证据。执行确立边界。开发将这些边界纳入应用。部署在环境中一致地扩展这些边界,并将新证据反馈到循环中。

每个阶段都让其他阶段更加有效。

在不拖慢智能体时代的前提下保障其安全

组织面临两个诱人的极端。一个是过于宽泛地信任智能体,假设合法凭证和编写良好的指令就提供了足够的保护。另一个是过度严格地约束智能体,以至于推动其采用的生产力提升消失殆尽。两者都不是可持续的长期战略。

“成功不是用组织能阻止多少智能体操作来衡量的。而是用它能自信(且安全)地促成多少有价值的操作来衡量的。”

更好的方法是建立可见性、问责机制和控制措施,使更大的自主性成为可能。这意味着了解智能体实际做什么,执行它们被允许做什么,将这些控制措施纳入开发流程,并在规模上一致地部署它们。这也意味着要认识到这项工作永远不会完成。新模型、框架、工具和工作流将不断引入新的行为和风险。

智能体安全不能是部署开始时的一次性批准。它必须是一门随着智能体本身演进而持续发展的学科。成功不是用组织能阻止多少智能体操作来衡量的。而是用它能自信(且安全)地促成多少有价值的操作来衡量的。

它需要的是一个持续的生命周期,而不是一个守门人。

文章《AI 智能体安全是生命周期——而非守门人》最初发表于 The New Stack。

来源

The New Stack