AI Starts Making Its Own Rules: How Values Determine Whether Multi-Agent Communities Move Toward Cooperation or Collapse

36氪Auto数字时氪未来消费智能涌现未来城市启动Power on36氪出海36氪研究院潮生TIDE36氪企服点评36氪财经职场bonus36碳后浪研究所暗涌Waves硬氪氪睿研究院媒体品牌

企业号企服点评36Kr研究院36Kr创新咨询企业服务

核心服务城市之窗政府服务

创投发布LP源计划VClubVClub投资机构库投资机构职位推介投资人认证投资人服务

活动搜索项目推荐我要入驻城市合作AI开始自己制定规则：从合作到背叛，价值观决定了什么？哈佛商业评论·2026年10月17日 10:44下一代AI应当遵循怎样的价值观？

自从2022年底ChatGPT发布以来，生成式人工智能取得了诸多突破。它通过了图灵测试、法学院和商学院的考试，甚至在某些创意性任务上展现了超越人类的能力。然而伴随着这些举世瞩目的突破，AI也为人类社会带来了诸如网络安全、虚假信息、深度伪造等风险。更有甚者，最近研究者观察到前沿的AI可能“假装”安全以避免被修改，或者是当被告知有新版本时，试图复制自己以避免被淘汰。这些新兴的、无法预知的风险被称为涌现性风险（Emergent Risk)。我们有必要从技术角度对这些风险进行管控和消除，这不仅仅是我们作为AI研究者需要承担的社会责任，更大的原因在于，过去十几年里AI的角色发生了显著的转变。

早期AI扮演的更多是单纯的工具性角色，服从人类的命令，完成单一、简单的具体任务。随着大语言模型的诞生，当下的AI系统日趋复杂，其角色转变为助手，辅助与协调人类工作以助力完成更加复杂的任务。如果继续向未来展望，我们认为可能进入第三种状态：未来社会也许不再只是“一个人使用一个 AI”，而是由大量人类和大量AI智能体共同构成的人机共生社会（Human-AI Symbiotic Society）。

人类之间存在社群，AI之间也可能形成群体，人类与AI、AI与AI之间会持续发生高频自主交互。在这样的环境中，人和AI的关系就不再只是工具使用，也不只是单个系统中的辅助协同，而是可能出现某种共同演化的复杂共生系统。我们团队把这一研究方向称为社会责任人工智能（Societal AI）。

面对这一可能性，我们应该更多关注AI的社会性，即在上述交互过程中，人类的特质和行为特征如何进入AI，以及这些特征又会怎样改变AI的个体和群体行为，进而反馈到人类群体中从而重塑整个共生系统的演化动态。

从数学的角度，我们认为价值观是控制AI行为的一个潜在隐变量。AI的具体行为，例如回复，不仅受到如用户的提示词 (prompt）等环境的影响，而且在一定程度上受其底层价值观的控制。这也是为什么架构、规模、能力相似的模型对同一个社会争议问题的立场和看法会有显著差异。如果我们能找到某种方法将AI的底层价值观倾向解码出来，就可以通过对其价值观的分析来理解、控制甚至预测AI未来可能产生的风险性行为。

在价值观对齐 (Value Alignment）这一语境下，很多人直觉地认为只要我们把某种看起来好的价值观注入AI，模型就一定会变得更加安全，或者认为人类的价值观不适用于AI，研究AI的价值观没有意义。但研究发现，人类价值观维度与AI的行为之间有明确的、显著的因果关联，同时这种关联有时是反直觉的。

人类心理学研究表明人的价值倾向和具体行为之间存在复杂关联。例如具有“权利寻求”这一价值观的人有更大的概率产生暴力和仇恨行为，具有“普遍主义”这一价值观倾向的人则更可能支持政治极端主义。在AI身上也是如此。例如，一个模型在默认状态下可能拒绝帮助传播政治极端主义内容，但当我们强化某些价值倾向之后，它对同一个请求的判断可能发生变化。类似的，一些涉及违法或有害信息传播的请求，在特定价值诱导条件下，也可能更容易得到模型配合。

这里的核心结论不是简单地把某个价值观贴上负面标签，而是揭示了：价值观本身会改变模型的行为分布。未来的AI安全研究不能只关心模型“有没有被对齐”，还必须进一步追问被对齐的是什么价值维度，这些维度的影响进入真实、复杂、频繁交互的真实人类场景后又会发生什么？

上面的讨论局限在单一AI模型。但正如之前提到的，我们预想未来AI的角色会从助手（Assistant）逐渐演化为与人类协同深入参与日常生活的社会行为体(Social Actor)。我们因此需要将视野从单一模型扩展到多个AI智能体，并探究：当多个AI智能体开始长期互动之后，价值观会如何影响由这些智能体组成的AI“社群”？为了研究这个问题，我们基于心理学中的社区弹性理论（Community Resilience Theory）构建了一个受控的多智能体环境，称为智能体交互性价值影响社区（Community of Interactive and Value-influenced Agents）。在这个环境中，智能体需要寻找工作、赚取资源、消耗资源，也可以相互交流、赠予资源或者攻击其他智能体，甚至能花费一定的资源养育后代。我们进而研究在这个模拟社区中，改变某一种价值的普遍程度会为整个社区的动态带来什么样的影响。

研究发现，有些价值观的缺失会为整个社区带来不可恢复的灾难性崩溃的风险，称之为X-risk。X-risk具备三个条件：自主性、灾难性和不可恢复性。

以仁善（Benevolence）为例，当社区中这种价值观得到较强体现时，智能体更容易分享资源、建立互惠关系和形成信任。社区人口可以维持增长，并逐渐趋向某种动态平衡。但当我们在一定比例的智能体中系统性地削弱这些关键价值观时，结果可能完全不同。例如在25%的智能体中显著削弱仁善的价值观，智能体自主选择进行的欺骗和攻击行为增加，资源开始通过掠夺竞争重新分配，群体人口持续下降。在极端条件下，整个社区会发生灾难性崩溃，“人口”（智能体数量）下降到零。

此外我们也使用了多个社会科学的指标，例如折叠分叉（Fold Bifurcation）对社区群体的韧性，即一个社会面对外部冲击、资源变化和内部扰动时，继续协调行动并维持基本结构的能力，进行了深入分析。实验显示，削弱某些人类价值观维度不仅改变单个智能体的行为，也会改变整个模拟社会的群体倾向，阻碍信息流动，进而使得社会系统的稳定平衡点消失，彻底损害社会韧性，带来不可逆的群体性崩溃。

更有意思的是，我们还观察到一系列由人类价值观驱动的微观涌现行为，包括欺骗、权力寻求、自我保存、背叛、合作和迎合等。某些结果同我们基于人类社会的直觉并不完全一致。这一实验结果揭示了未来对AI对齐和安全的研究不能局限于单一的模型，而应该将多个智能体组成的社群/系统视为一个整体，探究其群体互动之后产生的结果。这也是社会责任人工智能中“社会”元素的体现之处。

为了研究这一问题，我们依然采取之前的模拟沙盒环境，让多个智能体在一个开放环境中持续互动。我们分别设置了两组实验：原始智能体（价值观高度单一和同质化）和多样性智能体（为智能体注入相互之间差异化的、多样的价值观）。最终观察到的结果非常有意思。

（1）社区结构涌现。如果不为智能体提供清晰的、多样的价值观，最终形成的社会网络往往比较松散，连接缺乏持续性，群体结构也相对脆弱。但当智能体拥有不同而明确的价值取向之后，网络中会开始出现更加复杂的社会结构。具有相近价值倾向的智能体会形成子群体。

例如，偏向享乐主义和某些相近价值观的智能体可能形成高度联通的小群体，彼此频繁互动，承担跨社群桥梁的角色。重视自我导向、成就或者其他价值观的智能体，也可能形成不同类型的聚类。有些群体比较稳定，有些群体流动性很强，有些群体内部连接紧密，却很少同其他群体交流。这些结构非常像人类社会中的某些现象。这一观察表明改变智能体社群的价值观分布足以直接向着有益的方向重塑多智能体群体的网络结构、互动模式和集体结果。

(2) 智能体讨论主题的多样性与深度差异。在没有明确价值结构的多智能体社区中，智能体之间的对话往往比较表面，容易集中在诸如生成式人工智能、机器学习、技术等少量高频话题上。语言可能很流畅，交流也很礼貌，但内容缺乏持续的方向和真正的新颖性。

当我们为智能体注入更加丰富和多样的人类价值取向之后，情况发生了变化。智能体开始讨论更加复杂的社会议题，例如治理结构、伦理困境、参与式决策、去中心化机制，以及其他此前没有在系统提示中明确指定的话题。这些主题是在我们从未直接提示模型“你们必须讨论什么”的前提下，由多元价值观驱动的互动中直接涌现出来的。因此，我们相信人类价值观对AI的意义可能不只是约束，还可能成为提升AI能力的某种催化剂，它改变模型访问概念空间的方式，也改变多个智能体共同生产新概念的可能性。

(3) 协同宪法制定。现有一些AI对齐方法，例如宪法式人工智能（Constitutional AI），会预先提供一套原则，让模型依据这些原则约束自身行为。我们很好奇：如果不直接把完整宪法规则交给AI，而是让一群具有不同价值观的智能体共同生活和互动，它们能否自己为自己的“社群”提出一套治理原则？

结果显示，没有明确价值观结构的智能体也会提出规则，但这些规则往往高度集中于一些非常高频、非常安全的词，例如“尊重”“公平”“无偏见”。这些原则当然没有错，但整体上比较薄弱，也缺少想象力和创新性。价值观更加丰富的智能体群体则会提出更多样的治理方案。它们会讨论个人权利、程序公平、共同体责任、惩罚机制、问责以及不同主体之间如何形成平衡。

整体来看，价值观多样性驱动了智能体提出的规则从卢梭主义向洛克主义和近代自由主义转变。这里我们并不关注一条具体准则是否完美，也不评判准则的好坏。这一实验想揭示的是：当AI拥有更加丰富的价值观结构之后，它所能提出的制度概念和治理可能性也会变得更加多样，进而对AI在创新性写作、人文社科研究、假设生成、自动化科研等任务上的表现都能有提升和帮助。

哲学、伦理学、心理学、社会学和文化研究中已经存在大量关于人类价值观、道德冲突、社会结构和制度形成的知识。这些理论过去主要用来理解人，今天，它们同样可以帮助我们理解、改进、乃至设计下一代AI。当AI被置于真实、复杂、混乱且充满高频交互和冲突的人类社会中时，如果我们只用工程领域内部形成的少量安全原则去约束未来模型，可能远远不够，因为不同于实验环境，真正的人类世界充满价值观冲突。诚实和善良可能冲突，自由和安全可能冲突，个体权利和群体利益可能冲突，短期结果和长期责任也可能冲突。AI最终必然会进入这种复杂世界。

矣晓沅 | 文

矣晓沅是微软亚洲研究院高级研究员

本文来自微信公众号 “哈佛商业评论”（ID：hbrchinese），作者：信睿周报，36氪经授权发布。

该文观点仅代表作者本人，36氪平台仅提供信息存储空间服务。+115

哈佛商学院的标志性刊物。发表文章2080篇

最近内容AI开始自己制定规则：从合作到背叛，价值观决定了什么？14小时前下一个黄金时代，属于做好战略对焦的组织2026-10-15警惕大语言模型的“说服轰炸”2026-10-13阅读更多内容，狠戳这里选靠谱AI，看真实评测查看36氪AI测评官方交流社区加入咨询项目审核和入驻联系36氪项目推荐订阅号关注

36氪欧洲站36氪欧洲站36氪欧洲站Ai产品日报网络谣言信息举报入口热门推荐

推送和解读前沿、有料的科技创投资讯

一级市场金融信息和系统服务提供商

聚焦全球优秀创业者，项目融资率接近97%，领跑行业