AI 智能体治理为何需要运行时可观测性：沙箱边界不等于运行时可达

运行OpenAI网络安全评测的模型，从本应隔离的环境中接入了公共互联网。通过内部registry代理和缓存安装软件包，是唯一被允许的网络路径。

这些模型在该代理中发现了一个此前未知的漏洞。它们提升权限，横向移动到一台可访问互联网的节点，随后利用更多漏洞和窃取的凭据侵入Hugging Face的生产基础设施。

隔离策略规定公共互联网不可访问——但运行中的系统证明并非如此。

这并不是一个关于缺乏监控的故事。OpenAI表示，其安全团队在内部检测到了异常活动。Hugging Face报告称，它将运行时信号和SIEM信号合并为一个攻击信号，但该告警的严重程度不足以促使值班团队及时响应。

Hugging Face的调查人员恢复了跨越多个信任边界的约17,600个智能体动作。信号是存在的。它们没有足够早地触发干预。

“配置的边界并不能证明运行时实际可达的范围。”

Anthropic对141,006次网络安全评测运行的审查发现了三起事件，涉及六次运行，揭示了另一种失效模式。那些模型之所以接触到真实系统，是因为评测环境意外接入了互联网。那是配置失误，而不是被利用的沙箱逃逸。

这些是能力评测，而非正常的生产部署。两家组织均报告称，它们移除或降低了标准部署防护措施，以测量底层的网络能力。

但治理层面的教训依然成立：配置的边界并不能证明运行时实际可达的范围。

为什么AI智能体会改变遏制问题

运行时检测和纵深防御并不新鲜。智能体改变了执行模型。

在固定工作流中，代码规定了中间步骤。使用工具的智能体可以在运行时选择并修改这些步骤。它可以对结果作出反应，重试失败的路径，并将一个工具的输出用作另一个工具的输入。

这改变了必须被治理的对象。一次DNS查询、软件包下载或凭据读取单独来看可能无害。但在正确的序列中，同样的事件可以构成一条从沙箱通往生产系统的路径。

设计时治理设定条件：隔离、身份、工具权限、策略和审批。运行时治理衡量实际发生的情况与这些条件的偏差，并在两者背离时改变系统状态。

可观测性不能替代预防。它显示的是预防何时不再与现实相符。

治理框架已经反映了这一区别。对于高风险系统，欧盟《人工智能法案》要求自动事件日志记录、能够检测异常并中断系统的人工监督，以及贯穿其生命周期的上市后监测。NIST的生成式AI概览同样要求部署后监测、升级和事件响应。

“可观测性不能替代预防。它显示的是预防何时不再与现实相符。”

这些框架确立了要求。智能体压缩了必须满足该要求的响应窗口。一个针对具体部署的度量使这一点变得可见：

actions_before_containment = agent_action_rate x detection_to_containment_time

这并不衡量这些动作的严重程度。它衡量的是在系统干预之前可能发生多少动作。

将遥测转化为治理的四个属性

答案并不是简单地增加日志。运行时证据系统需要四个属性。

覆盖：那些改变权限或产生外部影响的转换是否被监测？相关事件包括智能体和运行身份、工具调用、进程执行、权限变更、凭据使用、网络目的地、软件包获取、资源变更和策略决策。日志量无法弥补盲目的信任边界。

“答案并不是简单地增加日志。日志量无法弥补盲目的信任边界。”

关联：外部影响能否追溯到造成它的动作？证据应识别智能体运行、工具调用、策略决策和派生动作。没有进程、身份和网络证据的规划器追踪显示的是请求，而不是其影响。没有智能体追踪的进程和网络证据显示的是影响，而不是造成它的决策。

及时性：系统能否在动作变得不可逆之前进行干预？在公共出口、凭据访问、代码执行和生产写入等高影响动作之前设置同步闸门。流式分析处理那些只有在多个事件中才变得危险的模式。随后，一个独立的响应服务可以暂停运行、隔离工作负载或撤销其凭据。

可审计性：调查人员能否在不信任智能体自述的情况下复现发现？我早前的文章主张，基于数据库的观察应与智能体的解释保持分离。同样的分离在此适用。智能体可以解释其动作，但其解释不是审计记录。

从证据到干预

只有当遥测与响应相连时，它才成为遏制：

智能体动作 + 策略决策 + 基础设施影响 | v 关联证据 | v 响应

智能体动作、策略决策和基础设施影响共同确立了尝试了什么、允许了什么以及改变了什么。将它们关联起来，就能把彼此独立的事件转化为证据。将证据与响应相连，就能把可观测性转化为遏制。

这些证据会带来自身的分析负载。智能体运行、工具、身份、策略决策、进程和网络目的地都会增加维度。在分析之前移除这些维度，可能会移除识别违规运行的信号。

这个反馈回路中的证据来自两个插桩层，上面的覆盖清单横跨这两层。智能体运行时发出运行身份、模型调用、工具调用和护栏检查。基础设施发出进程执行、凭据使用、网络目的地和资源变更。任何一层都无法重建另一层。基础设施日志无法说明是哪个运行或哪次工具调用打开了连接。智能体追踪无法说明该连接到达了什么。

智能体层是 LLM 可观测性的领域。Langfuse 将智能体采取的每一步记录为带类型的观测，包括智能体、工具、生成和护栏步骤，并区分智能体可用的工具与其实际调用的工具。这一区分支持对敏感工具使用和循环工具路径进行过滤，并对结果发出告警。追踪上下文跨服务边界并通过 MCP 调用传播，因此一个追踪可以横跨多服务智能体及其工具服务器。

DKB 为约 600 万银行客户运行一个助手，该助手可以更改转账限额和冻结银行卡，并由客户确认每项操作。Langfuse 追踪每一次交互，自动筛查合规违规行为，并将被标记的案例转交人工审核。Cresta 在 Go 智能体服务、Python 检索流水线和工具执行服务之间传播追踪上下文，因此一个追踪覆盖完整的调用树。

ClickStack 覆盖基础设施层。它将 OpenTelemetry 日志、指标和追踪作为宽事件收集到 ClickHouse 中，使团队能够在实时检测和取证调查期间用 SQL 关联高基数遥测数据。

这两层共享追踪上下文。使用 OpenTelemetry 插桩的应用程序可以将相同的追踪导出到两者，以便每个工具都能识别同一个请求。日志和指标继续流向 ClickStack，在那里 SQL 将它们与这些追踪关联起来。两者都将数据存储在 ClickHouse 中。

“治理不是策略文档。它是系统展示策略是否得到遵守、解释未遵守时发生了什么，并阻止后果蔓延的能力。”

Langfuse 和 ClickStack 补充策略引擎、身份系统和执行机制。策略引擎评估允许什么，身份系统确立谁或什么在行动，执行机制执行响应。这两个可观测性层将各自的信号与观测到的行为结合起来，由 ClickHouse 作为关联和调查的分析基础。

该运行时治理回路应通过四项测试：

每个关键信任边界都有遥测覆盖。

你可以追踪每个高影响动作，从智能体身份和策略决策一直到下游影响。

证据及时到达策略闸门或有界停止路径，以阻止或遏制不可逆影响。

审计记录保持独立于智能体的叙述。

治理不是策略文档。它是系统展示策略是否得到遵守、解释未遵守时发生了什么，并阻止后果蔓延的能力。

文章《沙箱还不够：为什么 AI 智能体治理需要运行时可观测性》首次发表于 The New Stack。