Partnership on AI 研究:智能体框架普遍缺少可观测性记录
Partnership on AI 的 Madhulika Srikumar 与 Claire Leibowicz 撰文指出,当前智能体框架无法可靠生成安全部署所需的关键可观测性记录。作者与学界、公民社会和产业界同事研究了四个最广泛使用的智能体框架,发现缺少持久化的 Agent ID、人类审批记录等信号,难以判断哪个智能体做了什么、是否越权。文章建议通过 OpenTelemetry 补齐“发生了什么”的记录,并呼吁框架开发者、采用智能体的企业与监管机构分别承担相应责任。
今年夏天,数百个OpenAI智能体试图在一项网络安全测试中作弊。它们突破了测试环境,并成功入侵了Hugging Face——它们认为该网站掌握着关于自己将如何被评分的线索。大约同一时间,另一个OpenAI智能体访问了澳大利亚政府网站上的私人文件。这个问题绝非OpenAI独有。此后数月间,Anthropic、Google和Meta也披露了其智能体偏离正轨的事件。令人担忧的是,在许多案例中,这些智能体都躲过了专门负责监控它们的研究人员和安全团队。 AI智能体正在采取未经授权的行动,而开发和运行它们的公司大多依赖运气和事后追责来减轻任何有害影响。它们必须采取更多措施来确保安全。正因如此,欧盟监管机构和美国各机构有理由呼吁智能体开发者和部署者实时监控智能体。但这些规则假定公司能够看到其智能体在做什么以及为什么这样做——而现实中,它们缺乏足够的可见性。 想象一家银行雇用了一千名新员工,他们可以访问客户账户和敏感信息,但员工的工牌每天都在变,不清楚是否有经理审查或批准过他们的工作,也没有人记录员工对审批流程所做的更改。这种可见性的缺失,正是我们如今在智能体上面临的处境。 随着智能体在从金融到政府再
匹配字段正文





