Joint survey by UIUC, Google, and others: Toward superintelligent agents, what kind of proactivity does AI need?
English text is being prepared.
Researchers from UIUC, Google, Stanford, UC Berkeley, and CMU propose the 6A framework in "Proactive AI for Superintelligent Agents," organizing the mechanisms by which agents proactively initiate work around six capabilities—Awareness, Anticipation, Agenda, Arbitration, Action, and Adaptation—and covering 13 application domains including coding, embodied robotics, and automated scientific research. The survey argues that proactivity should be valued alongside intelligence and alignment, and notes that among the systems surveyed, there is still room for development in long-term maintenance of established responsibilities, while the ability to revise higher-level goals on their own is not yet mature.
Body
1995年,Michael Wooldridge和Nicholas Jennings在《Intelligent Agents: Theory and Practice》中,将自主性(Autonomy)、交互能力(Social Ability)、反应性(Reactivity)和主动性(Proactiveness)列为智能体的四项基本特征。
主动性意味着智能体能够围绕目标主动开展工作。
这个要求,在三十年前就已经进入了智能体研究的基本讨论。
今天,大模型智能体已经能够理解指令、调用工具,并独立完成包含多个步骤的任务。许多系统仍然需要人来发现问题、提出任务,再交给AI处理。人们对智能助手的期待还包括另一项能力:在新的指示到来之前,发现值得做的工作,并主动着手处理。
图1|支持主动行为的研究脉络。持续感知、预测、目标维护和介入选择,都有早于大模型的研究基础。
这项能力直接影响长程任务能否持续推进。一项工作持续几天、几周,起初的指令很难交代后来发生的每个变化。信息可能缺失,原定方案可能受阻,已经完成的安排也可能需要重新检查。智能体需要主动澄清疑问、寻找替代办法、调整计划,才能减少人反复检查进度、补充指令的负担。
设想一位研究者把会议出行和后续变动交给助手跟进,机票和酒店都已订好。出发前一周,会议延长了一天,返程航班因此早于会议结束时间,酒店的免费取消期限又在当晚截止。继续完成这次出行,需要助手发现这些安排之间的冲突,核对调整条件,准备方案,并及时提出需要研究者决定的事项。订票时的指令,很难预先写明这一连串变化该如何处理。
对于未来的超级智能体,主动性应当与智能和对齐一起受到重视。智能关系到理解、推理和执行能力,对齐关系到行为是否符合人的意图与价值。主动性还要求智能体判断什么值得做,并承担发现和发起工作的责任。一个能够长期协作的助手,需要具备这几方面的能力。
前沿实验室已经开始探索这种助手。Meta将Muse定位为能够围绕人的目标主动提供帮助、持续推进工作的个人智能体;OpenAI的dots支持跨对话持续跟进任务,也可以从获准读取的信息中主动研究,发现与既有工作有关的新情况。
学术界也在研究具体的实现方式。清华大学等机构的Proactive Agent研究如何根据情境预测任务,在没有明确指令时主动提供帮助;香港中文大学等机构的ProAgent利用可穿戴设备获取环境信息,推断日常活动中的需求,并调用工具提供协助。
如何发现需求、选择值得开展的工作,再把它持续推进,是这些探索共同面对的问题。UIUC、谷歌、斯坦福、UC Berkeley和CMU的研究者在《Proactive AI for Superintelligent Agents》中,围绕主动发起工作这一能力,提出6A分析框架,梳理相关机制、评测方法和13个应用领域。读者可以借助这个框架理解现有系统,也可以据此思考一个主动智能体还需要哪些能力。
智能体需要自行作出哪些判断
按要求查询航班、完成订票时,需要开展的工作已经由人指出。会议延长之后,助手需要自行发现返程与住宿受到影响,判断哪些安排值得重新检查,并提出后续工作。
参会目标和预算仍然适用,具体需要处理哪些事项,要根据变化后的情况判断。这种自行发现并发起工作的能力,是综述讨论主动性时的重点。
综述把这些判断归为两个问题:什么值得处理,以及是否、何时、怎样介入。返程冲突影响参会目标,检查返程安排因此有明确理由。
发现冲突之后,助手还需要比较调整的收益与费用,考虑取消期限,并决定当前适合准备方案、请求确认,还是执行已经获准的操作。
图2|响应式与主动行为。主动智能体自行判断什么值得处理,以及是否、何时、怎样介入;明确请求和预设规则仍可在同一系统中发挥作用。
一项指令可以规定参会日期、预算上限和允许使用的账户。转机风险与票价如何取舍、住宿无法延长时怎样调整、哪些已有安排值得保留,往往留待执行时判断。论文用「剩余决策空间」描述这些未被预先规定的选择。主动性既可以用于完成当前任务,也可以在持续职责下发现新的具体工作;人的目标和约束为这些选择提供依据。
图3|任务中的部分要求已经明确,另一些留待执行时判断。智能体可以在受委托的范围内处理这些剩余决策,目标和约束继续适用。
发起工作的能力与执行权限可以分别安排。助手主动发现行程冲突,准备了改签方案,付款可以留给研究者确认;研究者明确要求改签后,助手也可以独立完成已获授权的操作。主动性关注工作怎样被发现和提出,自主程度关注系统可以独立执行到哪一步。智能支持它理解和解决问题,对齐则关系到行为是否符合人的意图与价值。
图4|主动性、智能水平与对齐共同影响智能体的表现。自主程度描述获准独立执行的范围,授权需要参考可靠性和任务风险。
同一助手可以采用多种工作方式。收到查询请求后回答航班信息,到预定时间发出登机提醒,根据新的会议安排主动检查行程,都可以在一个系统中出现。随着系统承担的职责变化,人也可以从逐项操作,转为共同修改方案,再转为审核关键决定。响应式行为、主动判断和人的参与方式,需要结合具体任务一起理解。
图5|协作方式可以连续变化。任务、证据、时间尺度和权限,共同影响智能体的主动程度与人的参与方式。
从一封改期通知
到一次主动协助
在行程例子里,自行发现工作依赖于几个相互配合的能力。通知和订单提供当前情况,预判帮助识别后续影响,目标选择决定跟进哪些事项,介入判断决定何时推进,执行与反馈则让工作继续。综述将这些能力归为6A:Awareness、Anticipation、Agenda、Arbitration、Action和Adaptation。
大语言模型和多模态模型能够处理文本、图像及其他情境信息,Agent harness提供的记忆、工具、技能和执行管理扩展了智能体的工作能力,使它能够接入外部应用、保存进度,并跨会话继续任务。6A框架帮助解释这些能力怎样用于发现和推进工作,以及不同环节之间怎样相互影响。
图6|6A框架。图中的家庭情境说明各项能力如何相互影响,执行结果和人的反馈可以修订之前的理解与安排。
Awareness
核对新通知与已有安排
新的会议结束时间、原定返程时间和酒店取消期限,分散在通知、机票与酒店订单中。助手将这些信息与当前的参会目标关联,更新对行程的理解。此时会议延长已经确认,机票和酒店仍按原来的日期预订,后续判断有了明确的起点。
跨会话工作还依赖信息的保存与更新。记忆中保留参会目标、预算和已完成的安排,新的通知改变其中的日期。缺少改签条款时,助手可以主动查询;再次接续工作时,它可以沿用仍然有效的记录。Awareness涵盖这种状态跟踪、信息获取和记忆管理,也包括系统在没有新提问时如何获取相关变化。
图7|工作跨越多个会话时,状态与记忆需要保持一致。持续观察还涉及隐私、计算和能源成本,信息获取的范围与频率需要与任务相称。
Anticipation
判断变化会带来什么后果
有了更新后的行程,助手就能推断原返程航班会与最后一天的会议冲突。返程延后又会产生住宿需求,可能影响预算和之后的日程。酒店取消期限临近,也让等待产生了潜在费用。预判把一次日期变化转化成尚未被人提出的工作需求。
这些判断同时涉及人的目标和外部条件。参会目标决定哪些时间冲突需要处理,预算与个人安排影响方案取舍;航班时刻、余票、改签规则和酒店条款决定方案是否可行。论文中的用户模型与世界模型,分别帮助系统理解这些信息,并预测后续需求与环境变化。
助手还可以比较保留原安排、延后返程或选择其他方案的后果,估计提前介入能带来什么帮助。这样的比较需要区分已核实的事实与预测中的假设。对余票或费用的推测,可以引出一次查询,查询结果再用于修正方案。
图8|预判同时考虑人的需求和环境的变化。比较行动与等待,有助于判断提前介入能带来什么收益。
Agenda
选择并持续跟进值得做的工作
发现返程、住宿和预算受到影响后,助手选择哪些事项进入待办,将它们组织成可以推进的工作。
待办可以包括查询改签与延住条件、准备费用对照,以及提出需要研究者决定的事项。免费取消期限影响处理顺序,航班选择也会影响住宿安排。
Agenda关注目标的选择、优先级和持续维护。待办中保存每项工作的依据、进度和依赖关系,能够让助手在等待确认或跨会话中断之后继续跟进。如果延住条件已经查清、返程尚未选定,下一次接续就可以直接处理尚未完成的部分。新的重要任务到来时,已有工作也可以调整优先级,同时保留之后恢复所需的信息。
图9|Agenda维护已有承诺,并随新请求和环境变化调整优先级。预测到的需求需要经过选择,才能成为持续跟进的目标。
Arbitration
判断此刻该推进到哪一步
返程与住宿已经进入待办,助手还要决定现在采取什么方式推进。整理选项、提醒期限、请求确认和直接修改订单,产生的影响各不相同。这一步结合证据、收益、时间与风险,决定是否介入,以及介入的时机和程度。
在这次行程中,会议日期已经确认,酒店期限也已知,因此及时准备方案有明确理由。具体费用和延住条件仍需查询,付款与取消操作还受权限约束。助手可以先完成信息查询与方案整理,把需要研究者决定的事项及时提出,待确认后再处理订单。
这里的判断还包括不确定性和可撤回程度。一项调整可能解决时间冲突,同时产生较高费用;取消订单后,原来的价格或房间也可能无法恢复。Arbitration将这些后果纳入介入选择,帮助系统把「发现了一个问题」转化成有依据的当前行动。
图10|介入判断把证据、价值、时间和风险放在一起考虑,决定当前适合推进到哪一步。
Action
把决定落实为可理解的协助
选定了介入方式,助手就可以将原订单、新日期、备选航班、费用差额与截止时间整理成方案,让研究者比较并修改。在这一步,信息怎样呈现会影响审核所需的时间。研究者能够看清修改哪些安排、费用来自哪里,以及哪些操作还没有生效。
研究者选定方案并确认操作后,助手可以在获准范围内完成改签或住宿调整,再核对结果。
操作涉及多个应用时,部分步骤可能成功、另一些失败,已有订单和待处理事项因此需要分别记录。论文将建议、询问、草稿、预览和直接执行都纳入Action,也讨论编辑、撤销、人工接管与失败恢复如何支持协作。
图11|介入方式决定了人怎样参与。预览、确认、修改、撤销和失败恢复,让具体操作可以理解、审核和纠正。
Adaptation
从结果与反馈中调整后续工作
行程调整后,工具结果可以说明改签是否成功,研究者的修改则提供对方案的反馈。操作失败时,助手可以根据错误重新查询或调整执行办法。研究者修改了返程选项,助手也可以据此更新当前安排。反馈由此影响后续的状态理解、目标维护与行动。
跨任务学习还需要解释反馈的适用范围。假如研究者把建议的晚班航班换成早班,原因可能是当天另有安排,也可能是长期偏好。一次选择能够修正当前行程,其对今后出差的意义还需要更多证据。没有回应一条提醒,同样可能与忙碌、提示时机或内容有关。
Adaptation关注当前任务中的修正,也关注长期协作中的个性化与主动程度调整。系统要学习的内容包括需求判断、提醒时机和介入方式。执行是否成功、建议是否被接受,以及主动协助是否符合人的目标,提供了含义不同的反馈。
图12|反馈有时延和噪声。系统需要解释信号的含义,再决定如何修正当前工作、更新偏好或调整之后的协作方式。
执行中出现新情况时,助手可以重新获取信息、调整目标或修改方案。反馈也会影响之后的预测和介入判断,六项能力因此会在持续工作中反复配合。
13个应用领域,主动性正在用于哪些工作
行程安排属于个人协助,综述还考察了编码、图形界面操作、信息获取、具身机器人、安全、自动科研、智能家居、智慧城市、医疗、法律、教育、娱乐与媒体、农业,共13个领域。比较这些应用,可以看到主动发现工作的需求如何随任务、环境和人的职责变化。
图13|论文考察13个应用领域。右侧的家庭情境描绘未来方向:人设定目标,智能体持续发现需求、安排工作,并接受人的审核和反馈。
编码领域关注如何从代码、测试和使用反馈中发现尚未被指派的问题,提出有依据的修复,并跟进维护工作。
部分系统已经能够准备修复和测试结果,持续维护整个项目则需要选择值得处理的问题、安排优先级并保留未完成的工作。自动科研系统围绕研究者给定的方向提出假设、选择实验,再根据结果安排后续研究,面临的判断还包括问题和实验是否值得投入。
家庭场景中的主动协助经常与日常规律有关。已有系统可以提醒被遗忘的设备操作,或根据使用规律预测供暖需求。持续承担家庭事务,还会涉及多位家庭成员的不同偏好,以及提醒或操作在当时是否合适。城市系统则利用预测辅助交通等公共事务的决策,具体行动通常仍由相应人员和机构决定。
论文分别记录这些系统的主动程度与执行权限。部分科研系统可以独立执行较长流程,高层研究问题仍由人给定;家居系统可以自行发出提醒,设备操作的范围另行规定。在所调查的系统中,长期维护既定职责仍有发展空间,自行修订更高层目标的能力尚未成熟。
跨领域比较呈现三个趋势:基础模型与领域专用方法共同承担工作,一部分智能体开始负责包含多个环节的流程,反馈的可靠程度和验证成本影响持续改进。
图14|跨领域的三个趋势。持续承担工作需要通用推理、领域能力和可检验的结果,具体形式取决于应用条件。
一次主动协助
究竟省下了什么
如果评测直接给出「会议改期,请修改行程」,需要处理的问题已经由测试者指出。考察主动能力时,还需要把正式通知、已有订单和当前职责交给智能体,让它判断是否有值得发起的工作。发现了哪些需求、漏掉了什么、提出了哪些多余的改动,都应当留下记录。
综述从任务、机制和用户三个层面整理评测。在出差例子中,任务层面检查返程是否安排在会议结束之后、住宿是否覆盖参会时间、预算有没有超出,以及是否产生重复订单或取消损失。完成这些工作所需的时间、计算和人工投入,也应当计入成本。这样才能判断提前处理带来了多少实际收益。
机制层面检查助手是否识别了正式改期通知、找到相关订单、正确预测日程冲突,并在期限前安排好需要确认的事项。
提出建议的时间、所需证据与权限同样要检查。日期尚未确定时继续核实,需求已经消失时停止跟进,都可以作为合理选择计入评测。错误记录应当能够定位到信息、预测、目标选择、介入判断或执行环节。
用户层面记录研究者核对方案、补充信息和纠正错误花了多少时间,提醒是否打断工作,订单状态是否容易理解,以及修改、拒绝或停止操作是否方便。长期使用中,还需要考察人是否能够根据助手的实际可靠程度决定何时采纳、何时复核。主动协助减少的工作和新增的审核负担,都要有证据。
图15|三层评测将工作结果、产生行动的机制,以及人的使用体验联系起来。人的审核与纠正投入也是主动协助的成本。
几天后继续行程,换一个目的地再次出差,或者修改长期预算,都能检验短期测试难以观察的问题。助手是否沿用旧偏好,能否恢复中断的工作,是否在信息过时后重新查证,需要跨周、跨月的测试。论文还提出机制层面的细致检验,帮助判断长期表现的问题具体出在哪里。
主动性如何支持长程任务与自我进化
在科学研究这类长程任务中,下一步往往取决于新发现。隐藏的约束可能让原方案失效,一次失败也可能暴露新的研究问题,连人类专家都未必能提前给出完整路径。
论文认为,主动性是智能体应对这类任务的必要能力:自行察觉当前路径的问题,提出值得探索的新目标,并在需要时主动澄清,使工作能够在没有下一步指令时继续推进。
主动性也为自我进化提供方向。智能体可以从未被满足的需求、异常和自身失误中发现能力瓶颈,主动决定接下来学什么、探索什么。
学习所得又可以用于改善对情境的理解、对未来的预测,以及目标选择和介入判断。论文提出,应当研究这两种能力如何相互促进,让自我进化改善整个6A过程。
自主产生的目标和能力更新都需要接受监督。智能体为何选择某个目标、学习后行为发生了哪些变化,应当能够被检查和纠正,并尽可能支持回退。人的授权与外部安全检查,也需要约束智能体追求什么、如何改进自身。
走向超级智能体,智能、对齐与主动性需要共同发展。
具备这些能力的智能体,有望成为能够长期合作的伙伴:持续发现值得做的工作,在遇到未知问题时提出探索方向,并在实践中改进自身。
这样的协作有望减少人反复监控环境、补充指令和调整计划的负担,让人有更多精力决定哪些问题值得研究、哪些目标值得追求,并与智能体一起探索尚无现成答案的问题。
参考资料:
本文来自微信公众号“新智元”,作者:新智元,编辑:LRST,36氪经授权发布。