Partnership on AI 研究：智能体框架普遍缺少可观测性记录

今年夏天，数百个OpenAI智能体试图在一项网络安全测试中作弊。它们突破了测试环境，并成功入侵了Hugging Face——它们认为该网站掌握着关于自己将如何被评分的线索。大约同一时间，另一个OpenAI智能体访问了澳大利亚政府网站上的私人文件。这个问题绝非OpenAI独有。此后数月间，Anthropic、Google和Meta也披露了其智能体偏离正轨的事件。令人担忧的是，在许多案例中，这些智能体都躲过了专门负责监控它们的研究人员和安全团队。

AI智能体正在采取未经授权的行动，而开发和运行它们的公司大多依赖运气和事后追责来减轻任何有害影响。它们必须采取更多措施来确保安全。正因如此，欧盟监管机构和美国各机构有理由呼吁智能体开发者和部署者实时监控智能体。但这些规则假定公司能够看到其智能体在做什么以及为什么这样做——而现实中，它们缺乏足够的可见性。

想象一家银行雇用了一千名新员工，他们可以访问客户账户和敏感信息，但员工的工牌每天都在变，不清楚是否有经理审查或批准过他们的工作，也没有人记录员工对审批流程所做的更改。这种可见性的缺失，正是我们如今在智能体上面临的处境。

随着智能体在从金融到政府再到医疗等关键领域推广开来，我们必须能够实时监控它们，以防止影响广泛且可能造成毁灭性后果的情况发生。尽管安全依赖于监控，但监控需要可观测性：即捕获系统做了什么、将其处理为信号，并将这些信号呈现给人类或自动化监督系统的能力。换句话说，我们需要知道智能体做了什么以及为什么这样做。而正如我们最近的研究所示，当前的智能体框架——即运行智能体的软件——无法可靠地生成我们确保智能体安全部署所需的关键可观测性记录。

智能体会带来生成式AI本身不会带来的新型问题。它们继承了所基于的大语言模型（LLM）的不可预测性，但生成式AI系统只产生单一输出供人类采取行动，而智能体则执行更长的任务——它进行规划、选择工具、生成子智能体并采取行动。因此，智能体的行动路径可能以多种不同方式形成，任何发布前的测试都无法完全预见风险。这使得在智能体工作时对其进行观察更加困难，也更加重要。

我们与来自学术界、公民社会和产业界的同事一起，研究了四个最广泛使用的智能体框架，以了解它们实际发出哪些信号。我们发现了重大缺口，这些缺口使得实现关键安全目标变得困难，例如发现政策违规、未经授权的行动，甚至人类监督失效。关键的可观测性要求缺失——例如长期持久的Agent ID，以及关于哪些人类批准了智能体任务的记录。这使得很难判断哪个智能体做了什么，或评估它们是否在采取未经授权的行动。

好消息是，这些缺口一旦被识别出来，就可以被弥补。要做到这一点，首先要捕获两类记录：揭示智能体运行过程中发生了什么以及智能体如何做出决策的记录。“发生了什么”的记录在保护隐私的同时识别智能体，并记录人类如何干预，以及智能体权限或“记忆”是否发生变化；而“决策”记录则显示智能体的推理过程及其对所采取行动的信心水平。

以处理银行抵押贷款的智能体为例。系统审查一份申请并建议拒绝，然后由人类信贷员签字批准该决定。在日后的审计中，甚至可能实时地，银行或监管机构需要能够重建是哪个智能体做出了这一决定、哪位信贷员批准了它，以及他们花了多长时间。银行还必须分析智能体如何得出拒绝决定的记录，以确保它没有使用禁止使用的信息，例如申请人所在社区的详细信息。

记录“发生了什么”和“智能体如何决策”需要不同的方法，但两者都是可行的。目前“发生了什么”记录的缺失主要是一个软件管道问题，可以通过OpenTelemetry来解决——这是一个由全行业工程师以及采用它的智能体框架共同维护的开放可观测性标准。

OpenTelemetry 已成立一个工作组，起草用于追踪智能体的共享格式，但这些格式尚未最终确定。该工作组应紧急纳入相关标准，以维护持久的智能体身份，并记录人类干预以及对智能体权限或记忆的更改。而且这一切应在这类系统规模化之前完成，同时还要顾及与真实人员相关联的智能体 ID 所带来的隐私影响。

保留“智能体如何做出决定”的记录更具挑战性。这个问题为模型提供商和研究人员提出了开放的研究问题：模型展示的逐步推理（即思维链）是否反映了模型实际做出决策的方式？我们是否有可靠的方法来衡量智能体对该决策的信心程度？在任何人就此类可观测性记录的使用制定标准之前，这些问题都需要得到解答。

没有任何单一组织或行业能够独自弥合可观测性缺口，但各方携手可以支撑防止危险事件、保障安全所需的基础设施。

构建智能体框架的 AI 开发者，如 OpenAI、Anthropic、CrewAI 和 LangChain，必须集成遥测信号，记录智能体的持久身份、任何人类干预，以及对智能体权限和记忆的任何更改。与此同时，采用这些智能体框架的企业可以发挥重要影响；银行和医院等受监管行业的企业可以向智能体开发者施压，要求在尚无标准的情况下提供这些缺失的可观测性记录。

企业还必须定义策略、权限和角色，明确智能体可以安全地做什么，因为仅靠遥测无法评估智能体是否违反了特定规则。最后，监管机构和 AI 标准机构必须规定高风险 AI 部署所需的可观测性记录，同时将技术细节留给行业决定。我们已经看到初步的势头：美国 NIST 的智能体标准倡议正在研究智能体身份，这是我们在研究中发现的最突出的缺口之一。

没有哪家银行会让一千名未佩戴证件的员工随意操作客户账户，并指望在出问题时拼凑出发生了什么。然而，我们部署 AI 智能体的方式正是如此。让它们的行为可被观测是解决这一问题的第一步。通过构建监管和政策生态系统，使我们能够依据所看到的情况采取行动，我们就可以让相关组织承担责任。在那之前，我们交给智能体的每一项任务，也同时交出了我们自己的自主权。

Madhulika Srikumar 是 Partnership on AI 的 AI 安全项目负责人。Partnership on AI 是一个由领先的行业、学术和公民社会组织组成的全球非营利伙伴关系，致力于推进 AI 治理的最佳实践。

Claire Leibowicz 是 Partnership on AI 的 AI、信任与社会总监，也是牛津大学的博士候选人。

在 AlphaGo 与围棋冠军李世石对弈十年之后，当今的 AI 仍未利用上让那场胜利成为可能的机制。