AI 越来越聪明，但智能体集群的一致性更难了

我整个职业生涯都在试图理解智能。我学神经科学，是因为我对AI感兴趣，并且认为先了解大脑如何工作是一个不错的起点。先理解智能，再谈“人工”智能。这段训练给我留下了一个习惯。当一种新能力或新技术出现时，我的第一个问题是务实的：它究竟能做什么，能解决哪些类型的现实世界问题？

作为一个AI从业者，我很少为AI新闻标题欢呼。我会透过喧嚣，不仅去理解突破，也去理解这些新能力的局限。

早在2020年，当AI安全讨论被炒作推得火热时，我曾给出一些朴素的建议：把AI当作工具，一种强大的工具，但终究是工具。坚持那些枯燥的用例。在任务层面下功夫，也就是这项技术足够可靠、能够提供帮助的层面。我当时的乐观设想，就是拥有枯燥但有用的工具。

几年后，当智能体浪潮开始兴起时，我带着同样的视角去看，结果并不信服。一个智能体系统，其能力上限取决于它下面的任务，而我当时还没有看到这些系统有效运作所需的任务级可靠性。

然而，炒作在升温。到去年年初我参加RSA大会时，空谈与实质之间的差距仍然难以忽视。当时甚至对“智能体”是什么意思都没有共识；每个人都有不同的定义和视角。而且我担心一个结构性问题。假设有十个智能体，每个大约95%准确。把它们串联起来，让一个的输出成为下一个的输入。到这条链的末端，准确率就降到大约60%。可靠性经不起层层叠加。那时，我开始思考智能体系统，不过我的担忧仍然是它们能否被信任去工作并带来有意义的改变。

然后，编码智能体的快速进步改变了我的想法。

在我那篇相关文章发表后的几个月内，惊人的进展速度让我明白了一件事：对若干现实世界任务而言，可靠性只是时间问题。更好的模型，加上围绕它们构建的更好的工程化框架，将会弥合我一直担心的差距。我所担忧的天花板会被抬高。

这时，真正的问题才浮现出来，而它并不是我一直在关注的那个问题。一旦你能信任单个智能体，你就不会只部署第一个就停下。你会部署许多个。成群的智能体，遍布每个职能，每一个都有能力，每一个都在做自己的工作。于是出现了一个与可靠性无关的新问题：如果集群中的每个智能体都做了它被设计来做的事，这个集群加起来是否仍然符合组织的意图？

对组织本体感觉的需求

一个拥有能干肢体的身体，如果没有本体感觉——即持续感知自身各部分位于何处、在做什么的内在感觉——就无法很好地运动。小脑不仅仅是对这种反馈作出反应，它还会预测。当大脑发出运动指令时，它会形成对运动应产生何种感觉的预期，然后将这一预期与实际出现的感觉进行核对。两者之间的差距，就是用来校正下一步动作的信号。熟练的运动是一个预测结果并针对差异进行校正的循环。

一个运行智能体集群的组织，也需要同样的自我感知。它必须持续知道自己的系统处于何处，以及它们偏离预期状态有多远。没有这种内在感知，能干的部件就无法组合成协调的行动。这不是你事后加到身体上让它更安全的传感机制。身体要能运动，就需要它。

有一个被充分研究的案例，主人公名叫伊恩·沃特曼，他身体大部分区域失去了这种感知。他学会了重新运动，但只能通过观察自己，用眼睛引导每一步和每一次伸手。这行得通。但这也令人疲惫且脆弱。关掉灯，他就完全无法协调。一个通过人工审计和定期审查来治理其智能体的组织，就处于他的境地。它用持续的努力来补偿一种从未内建的感觉，而这种补偿的代价超过了它所替代的东西。一旦条件变化，整个系统就会崩溃。

还有一个值得命名的陌生失败案例，神经科学家V·S·拉马钱德兰在一本引人入胜的书中对此有所描述。当肢体被截肢后，大脑并不会归于沉寂。它会继续为缺失的肢体生成信号，而患者能真切地感受到这些信号。治理也可能以同样的方式失效。通过重组或忽视，把真正的判断力从某项监督职能中剥离出去，这项职能并不会就此安静下来。审查仍会完成，指标仍会产出。组织依然能感受到监督的“感觉”，而支撑这种感觉的判断力早已被掏空。在这里，我2020年关于透明度的建议又回来了。没有透明度就没有监督，而在一个只制造出“被监督”表象的系统中，根本不存在透明度。

一致性才是稀缺资源

智能正变得越来越廉价。很快，它将嵌入每一个工作流和每一个工具之中。在那个世界里，稀缺资源是一致性，即每个系统各自所为与企业试图实现的目标之间的活的联系。一致性是结缔组织，让分布式智能始终与同一个目标保持一致。

我花了多年时间研究大脑如何让其众多部分作为一个整体协同运作。智能体时代向企业提出了同样的问题。自2020年以来，目标从未改变。依然枯燥，但依然有用。如今，要构建的枯燥而有用之物，正是一致性本身。

Madhu Shashanka博士，Concentric AI联合创始人、首席科学家兼联席CTO

Shashanka博士是Concentric的首席科学家兼联合创始人。在加入Concentric之前，Shashanka博士曾担任嘉信理财数据科学与机器学习团队的董事总经理。在PetaSecure被Niara收购之前，他联合创立了该公司并担任首席科学家。

了解更多

mvp-article-cont