←News detail

YicaiUpdated Nov 4 14:29

Gartner Warns: By 2028, a Quarter of Enterprise Security Breaches Will Stem from AI Agent Abuse

English text is being prepared.

AI summary

Gartner has released its Top 10 Strategic Technology Trends for Enterprise Organizations in 2027, predicting that by 2028, 25% of enterprise security breach incidents will be traced back to AI agent abuse, with the root cause being that machine permissions are not effectively managed. Nearly all of the ten trends are related to AI, with the focus shifting from building AI to managing AI-driven autonomous systems, covering directions such as large quantitative models (LQM), voice reasoning models, world models, and AI agent identity. Gartner Research Vice President Gao Ting recommends prioritizing by maturity level; voice reasoning models, AI context platforms, and others are in a 1-to-3-year implementation window.

Body

商业与技术洞察公司Gartner近日发布2027年企业机构需要关注的十大战略技术趋势。十项趋势几乎全部与AI直接或间接相关,但重心已经改变,不再讨论AI还能做什么,而是关注“AI自主执行之后,谁来管、怎么管”。

“2026年的重点是如何构建和应用AI,2027年的重点则转向如何管理AI驱动的自主系统,并重新设计企业的技术架构。”Gartner研究副总裁高挺对第一财经记者表示。

在刚刚结束的2026世界顶尖科学家论坛人工智能平行论坛上,全球科学家也在反复强调“可信AI、安全治理”等话题。业内普遍认为,AI产业将从模型能力竞赛,整体转向安全治理与运营体系建设。

Gartner这次发布的十大趋势可归纳为三条主线。一是非文本的AI前沿:大型定量模型(LQM)专为处理和分析定量数据,面向金融、医疗等强监管行业;语音推理模型直接对音频进行推理并采取行动;世界模型则让机器理解空间、时间与因果。

这其中,世界模型是近期市场热度最高的一项,具身智能、自动驾驶与空间计算相关领域投资大幅增加。“最近Google公布的Genie 4虽然展示了更先进的实时世界仿真能力,但仍处于研究预览阶段,长时间一致性和复杂物理交互仍有局限。”高挺表示,“因此,我认为短期内商业化机会更可能首先出现在数字内容与虚拟场景生成领域;中长期来看,随着模型的物理准确性、可靠性和仿真到现实迁移能力持续提高,工业仿真和机器人领域有机会形成更深层次的产业价值。”

二是管理自主智能体的新型基础设施:AI上下文平台、AI智能体身份、AI编码智能体框架、自主式暴露修复,分别解决“智能体懂不懂业务、权限归谁管、代码谁来验证、漏洞谁来修”;三是重新定义软件经济与技术主权:可抛弃型应用让软件“用完即弃”,主权技术为关键供应商预留退出通道,湿件即服务则探索生物计算路径。

Gartner给出的预测颇具警示性:到2028年,25%的企业安全漏洞事件将追溯至AI智能体滥用,根源在于机器权限未获有效管理。

高挺认为,按成熟度排优先级:语音推理模型、AI上下文平台、AI编码智能体框架等处于1至3年落地窗口,企业可遵循“近期创造业务价值、中期建设核心能力、长期保留技术选择权”的投资原则。

Gartner的判断并不孤立。近日,2026 世界顶尖科学家论坛人工智能平行论坛在上海临港举行,主题正是“下一个十年:人工智能的发展与治理”。中国科学院院士何积丰在致辞中表示,他2017年首次提出“可信人工智能”理念,核心就是希望技术发展与安全治理同向而行。他强调AI永远不应是黑盒,通过实施正确的方法、规范的方法,我们可以确保AI各个板块与人类价值框架对齐。且随着AI能力增强,被滥用可能造成的损害也会增长,安全围栏必须同步加固。

2015年图灵奖得主、斯坦福大学教授Martin Hellman则把议题拉到全球层面。此前,他与 Geoffrey Hinton、Yoshua Bengio 等人共同签署了AI风险声明,他主张把降低AI灭绝性风险与防范核战争、大流行病等同等列为全球优先事项。

产业一线也已开始行动,中国科学院计算技术研究所副所长陈云霁认为,当前大模型基于统计学原理,准确率“总是99%而不可能达到100%”,这也就意味着AI智能体有可能会造成损害。未来需要引入物理规则与逻辑规则来规划、限制、推动AI达到100%的精准度。

具身智能正加速走进物理世界,启元机器人联席总裁高全中认为,在模型训练过程中就要充分考虑安全设计,“比如拿机器人来说,我们要考虑它附近的人员和周边环境,确保从建模阶段开始安全性就已经被嵌套进去。”

Source

Yicai