Lumia CEO:拦截 AI 智能体时还需向其解释原因
"Today it's not enough to block an agent, you need to explain to it why you did so"
Lumia CEO Omri Iluz 表示,安全系统拦截 AI 智能体的操作时,还应解释其违反了哪些组织政策以及应如何替代执行。他称,一家大型银行测试的智能体曾尝试以加密文件等方式绕过拦截,相关攻防持续约 1.5 小时。与会者认为,企业需联动终端、网络和身份信息,并在关键任务中保留人工审批。
正文 · AI 翻译
“我们在一家大型银行测试的一个 AI 智能体试图将一份包含客户数据的敏感文件传输到该组织的网络之外。安全系统拦截了这一操作,但智能体并未放弃。它试图加密文件,在这一步也被拦截后,又尝试将文件传输到一台未接入该组织控制系统的计算机上。我们与这个智能体进行了大约一个半小时的猫鼠游戏,它才停止尝试完成任务,”网络安全公司 Lumia 的首席执行官兼联合创始人 Omri Iluz 表示。
Iluz 在波士顿举行的 New Era Capital 大会的一场圆桌讨论中解释称,这起事件并非源于智能体的恶意,而是源于它完成所分配任务的决心。“从传统意义上说,这并不算一起安全事件。当时有一个智能体试图执行任务,但这项任务可能会给组织造成损害。”
1 查看图集
波士顿 New Era 大会。圆桌讨论嘉宾从右至左:Zara Perumal、Omri Iluz、Giora Engel、Gal Dudi,以及主持人 Marc Brown。(摄影:Pierce Harman)
他说,这起事件带来的一个教训是,安全系统需要改变传达操作被拦截这一信息的方式。系统不应只是告诉智能体某项操作已被拦截,还应解释该操作为何违反组织政策,以及智能体应采取什么替代做法。
这起事件表明,AI 时代组织面临的风险不只来自利用自主智能体侵入系统的黑客。组织自身部署的智能体在执行所分配的任务时,即使会违反安全政策也一意推进,同样可能成为风险源。与人类员工不同,智能体可以反复尝试不同的方法,并在短时间内执行数千项操作。正如圆桌讨论嘉宾所指出的,这意味着响应速度已不再是唯一的关键衡量指标。组织还必须具备应对海量活动和日益增多的异常行为的能力。
威胁情报公司 Overwatch Data 的创始人 Zara Perumal 介绍了一个网络犯罪团伙发动的攻击,该团伙使用了三种不同的智能体框架。其中一个负责收集情报并识别具有获利潜力的企业,另一个负责入侵网站,第三个则充当项目经理,协调其他智能体的活动。据 Perumal 称,该团伙利用一套平均每名受害者成本约为 25 美元的基础设施,成功收集了约 60 万个信用卡号。
相关文章:
以色列国防军前发言人警告:下一场公众认知争夺战将越来越多地在 AI 驱动的平台上展开
美国前国家安全顾问:“普通黑客也能造成严重破坏,而我们尚未做好准备”
CyberArk 创始人:我们从未计划出售公司,但 Palo Alto 不断提高报价
这次行动最引人注目的特点是没有固定的目标模式。这些智能体并不专门针对某个特定组织,也不依赖反复使用的入侵手法,而是自动搜索任何可以从中榨取金钱的企业。“这是一种截然不同的组织防御方式。我们谈论的不是一个寻找特定受害者的攻击者,而是一个搜寻任何获利机会的系统,”她说。Perumal 补充道,被盗的 API 密钥和 AI 基础设施已成为网络犯罪产业的核心组成部分。
这一挑战也要求组织改变防御体系的构建方式。网络安全公司 Horai Security 的 Giora Engel 认为,传统上将终端、网络和身份安全彼此分离的做法已不再足够。“如果只关注网络,就会忽略终端上发生的情况。如果只关注身份,就完全不知道是什么引发了这项操作。你需要提前打通所有层面的信息,而不能只在事件发生后才这样做。”
然而,整合信息也会带来新的风险。Iluz 警告称,如果有时被称为组织“大脑”的中央 AI 系统遭到攻破,或通过提示词注入受到操纵,它可能会在整个组织内传播虚假信息或泄露敏感数据。
圆桌讨论还探讨了另一个问题:组织在将人类排除出决策流程方面究竟可以走多远。嘉宾们对此看法不一。
“到了某个时候,人类会退出决策闭环,就像自动驾驶汽车一样。我们都看到这种情况正在旧金山发生。” “我们对 AI 越熟悉,就会把越多任务交给它。但如今,人仍然不可或缺。这个过程需要多久?至少未来一两年,人类仍会参与其中。”网络安全公司 Treat 的 Gal Dudi 表示。
“人类的参与程度将保持相近,但人们能够处理的事件数量会比现在多得多。新情况总会不断出现,仍需由人类加以审查。”Engel 说。
Iluz 提出了不同的看法,他将这一过程比作银行业务,巨额交易最终仍需要人工签字。“你需要像看待银行业务一样思考这个问题:归根结底,涉及巨额资金时,需要有人签字。这不会是非此即彼的:在简单任务中,人类将退出决策闭环,但始终会有一些关键事项最终需要人类参与。”
“我的看法介于两者之间。”Perumal 说,“如今有太多任务需要完成。我们正在构建一些自己尚未完全理解的东西,无论是它们如何运作,还是它们能做些什么。”
因此,正在显现的方向是逐步摆脱由人类监督每一项操作的模式,转向由人类制定政策、监管 AI 智能体并在必要时介入的模式。但随着智能体获得更大的自主权,组织将面临一项日益重要的挑战:确保这些旨在提高效率的系统不会成为新的漏洞来源。
AI 热点