对齐的虚假性

本文最初发表于 Reboot。

对“AI 存在性风险”（简称“x-risk”）轻信而气喘吁吁的报道已经进入主流。谁能料到，那个直接源自儿童卡通、又令人联想到儿童卡通的小型大写拟声词“ꜰᴏᴏᴍ”，竟会不加批判地出现在《纽约客》上？关于 AI 及其风险、以及关于对这些风险能做什么或该做什么的公共讨论，如今比以往任何时候都更加混乱不堪，把思辨性的未来危险与真实存在的当下危害混为一谈，而在技术层面，则把大型的“近似智能”模型与算法及统计决策系统混为一谈。

那么，AI 进步的利害关系究竟是什么？尽管关于灾难性危害和灭绝级事件的空谈铺天盖地，所谓“对齐”研究的当前轨迹似乎装备不足——甚至可以说“未对齐”——难以应对 AI 可能造成广泛、具体且严重痛苦这一现实。在我看来，我们并非在解决人类灭绝这一宏大挑战，而是在解决一个由来已久（且众所周知极为重要）的问题：打造一款人们愿意付费的产品。讽刺的是，恰恰是这种价值推崇，为末日情景（无论是真实的还是想象的）创造了条件。

我要说，OpenAI 的 ChatGPT、Anthropic 的 Claude 以及其他所有最新模型能做出它们所做的事，这非常、非常酷，而且和它们玩耍可以非常有趣。虽然我不会就意识、它们取代人类劳动者的能力作出任何断言，也不会说我愿意在重大任务上依赖它，但如果我否认这些模型可能有用、它们很强大，那就是虚伪。

“AI 安全”社群所担忧的正是这些能力。其想法是：AI 系统将不可避免地超越人类水平的推理能力，越过“人工通用智能”（AGI）达到“超级智能”；它们的行动将超出我们的理解能力；它们为追求自身目标而存在，将贬低我们目标的价值。安全社群声称，这一转变可能迅速而突然（“ꜰᴏᴏᴍ”）。相信这一点的是 AI 从业者和学者中一个规模虽小但发声积极的群体，以及有效利他主义（EA）意识形态运动中一个更广泛的联盟，后者将 AI 对齐方面的工作视为防止 AI 相关灾难的关键干预。

事实上，AI 对齐领域的“技术研究与工程”是 80,000 Hours 推荐的影响力最高的单一职业路径，该组织是一个颇具影响力的、专注于职业指导的 EA 组织。[1]

在最近的一次《纽约时报》采访中，尼克·博斯特罗姆——著有《超级智能》，也是有效利他主义的核心思想架构师——将“对齐”定义为“确保我们构建的这些能力日益增强的 AI 系统与构建它们的人所追求的目标相一致”。

谁是“我们”，而“我们”又在追求什么？就目前而言，“我们”是私营公司，其中最引人注目的是 OpenAI——AGI 领域的先行者之一——以及 Anthropic，后者由一群 OpenAI 校友创立。[2]

OpenAI 将构建超级智能列为其主要目标之一。但既然风险如此之大，为什么还要这样做？用他们自己的话说：

首先，我们相信它将带来一个远比我们今天所能想象的更好的世界（我们已经在教育、创造性工作和个人生产力等领域看到了早期的例子）……经济增长和生活质量的提升将是惊人的。其次，我们认为阻止超级智能的创造将具有反直觉的风险且十分困难。因为其好处如此巨大，构建它的成本逐年下降，构建它的行为者数量迅速增加，而且它本质上是我们所处技术路径的一部分……我们必须把它做对。

换言之，第一，因为它将为我们赚一大笔钱；第二，因为它将使某个人赚一大笔钱，所以不如让我们来赚。（OpenAI 当然有责任证实这些说法：AI 能带来一个“难以想象地”更好的世界；它“已经”惠及教育、创造性工作和个人生产力；像这样的工具的存在能够实质性地改善生活质量，而不只是惠及那些从其存在中获利的人。）

当然，这是一种愤世嫉俗的看法，我不认为OpenAI的大多数人留在那里仅仅是为了个人财富的积累。相反，我认为他们的兴趣是真诚的——无论是让大型模型得以存在的技术工作、分析其社会影响的跨学科对话，还是希望参与建设未来。但一个组织的目标终究有别于构成它的个体的目标。无论公开声明如何，创收将始终至少是一个补充性目标，OpenAI的治理、产品和技术决策都围绕它来构建，即便并非完全由它决定。一家正在打造“LLM平台”的初创公司对CEO萨姆·奥尔特曼的采访表明，商业化是奥尔特曼和该组织最关心的事。[3] OpenAI的“客户故事”页面与其他任何初创公司的页面并无二致：精美的截图和引述、知名公司的点名、必不可少的“科技向善”亮点。

那么Anthropic呢？这家公司因前OpenAI员工担忧OpenAI转向盈利而创立，可谓声名在外。他们的论点——如果这些模型真的如此危险，为什么还要构建更强大的模型——更为审慎，主要聚焦于一个以研究为导向的论点：必须在能力的最前沿研究模型，才能真正理解其风险。不过，与OpenAI一样，Anthropic也有自己光鲜的“产品”页面、自己的引述、自己的功能插图和用例。Anthropic持续一次性筹集数亿美元。[4]

因此，OpenAI和Anthropic或许在尝试开展研究、推动技术边界，甚至可能构建超级智能，但不可否认的是，它们也在构建产品——承载责任的产品、需要销售的产品、需要被设计成能够抢占并维持市场份额的产品。无论Claude和GPT-x在技术上多么令人印象深刻、多么有用或有趣，它们终究是工具（产品），其用户（客户）希望用这些工具来完成具体的、很可能平淡无奇的任务。

构建产品本身并无本质错误，公司当然会设法赚钱。但我们或许可以称之为“财务支线任务”的东西，不可避免地使理解如何构建对齐的AI系统这一使命变得复杂，并让人质疑：对齐方法是否真的适合避免灾难。

在《纽约时报》那篇关于超级智能可能性的同一采访中，博斯特罗姆——一位科班出身的哲学家，据所有人所知，他在机器学习研究方面实际上几乎毫无背景——谈到对齐时说：“那是一个技术问题。”

我并非暗示那些没有计算机科学技术背景的人没有资格评论这些问题。相反，我觉得讽刺的是，开发解决方案的艰苦工作被推到了他的领域之外，就像计算机科学家往往认为“伦理”远远超出他们的专业范围一样。但如果博斯特罗姆是对的——对齐是一个技术问题——那么技术挑战究竟是什么？

我首先应当说明，AI和对齐的思想版图是多元的。许多关注存在风险的人对OpenAI和Anthropic所采取的方法有强烈批评，事实上也对其产品导向提出了类似担忧。尽管如此，聚焦于这些公司在做什么既是必要的也是充分的：它们目前拥有最强大的模型，而且与另外两家大型模型供应商Mosaic或Hugging Face不同，它们在公开传播中最为认真地对待对齐和“超级智能”。

这一版图的一个重要组成部分，是一个由存在风险所驱动的、紧密团结的个体研究者社群。这个社群围绕AI安全和对齐理论发展出了丰富的词汇，其中许多最初是以详细博客文章的形式发表在LessWrong和AI Alignment Forum等论坛上。

其中一个有助于为技术对齐工作提供语境的想法——或许也是博斯特罗姆所指的更为正式的版本——是意图对齐的概念。在2018年一篇引入该术语的Medium文章中，曾任OpenAI对齐团队负责人的保罗·克里斯蒂亚诺将意图对齐定义为“AI（A）正试图做人类（H）希望它做的事”。以这种方式加以界定后，“对齐问题”突然变得容易处理得多——即便不能完全解决，也适合通过技术手段部分解决。

我将在此聚焦于（表面上）致力于塑造AI系统行为以使其与人类价值观“对齐”的研究路线。[5] 这条研究路线的关键目标是开发一种人类偏好模型，并用它来改进一个基础的“未对齐”模型。这一直是产业界和学术界深入研究的主题；其中最突出的是“基于人类反馈的强化学习”（RLHF）及其后继者“基于AI反馈的强化学习”（RLAIF，又称宪法AI），它们分别被用于对齐OpenAI的ChatGPT和Anthropic的Claude。

在这些方法中，核心思路是从一个强大、“预训练”但尚未对齐的基础模型开始，例如，它能够成功回答问题，但在回答时也可能口出秽语。下一步是创建某种“人类偏好”模型。理想情况下，我们能够询问地球上全部80亿人对基础模型所有可能输出的看法；而在实践中，我们改为训练一个额外的机器学习模型来预测人类偏好。这个“偏好模型”随后被用来评判和改进该基础模型的输出。

对于OpenAI和Anthropic而言，“偏好模型”都与“有用、无害、诚实”（即“HHH”）这一总体价值观保持一致。[6] 换言之，“偏好模型”捕捉的是人类倾向于认为“HHH”的那类聊天机器人输出。偏好模型本身是通过成对比较的迭代过程构建的：在基础模型生成两个回答后，由人类（针对ChatGPT）或AI（针对Claude）判定哪个回答“更HHH”，该判定随后被反馈回去以更新偏好模型。近期研究表明，足够多的此类成对比较最终会收敛到一个良好的通用偏好模型——前提是确实存在一个关于“什么在规范上始终更优”的单一通用模型。[7]

所有这些技术路径——以及更广义的“意图对齐”框架——都具有一种具有欺骗性的便利性。有些局限是显而易见的：恶意行为者可能怀有“恶意意图”，在这种情况下意图对齐就会有问题；此外，“意图对齐”假定意图本身是已知的、清晰的且无争议的——在一个价值观极度多元且常常相互冲突的社会中，这无疑是一个困难的问题。

“财务支线任务”绕开了这两个问题，而这恰恰抓住了我在此处的真正担忧：财务激励的存在意味着对齐工作常常变成伪装的 product development，而非在缓解长期危害方面取得实际进展。RLHF/RLAIF方法——当前将模型与“人类价值观”对齐的最先进技术——几乎就是为打造更好的产品量身定制的。毕竟，用于产品设计和营销的焦点小组，就是最初的“基于人类反馈的强化学习”。

第一个也是最明显的问题在于确定价值观本身。换言之，“哪些价值观”？又是谁的价值观？例如，为什么是“HHH”，又为什么以他们那种特定方式实施HHH？指定引导开发一个普遍有用产品的价值观，要比指定可能以某种方式从根本上防止灾难性危害的价值观更容易；而对人类如何解读这些价值观取某种模糊的平均值，也要比有意义地处理分歧更容易。或许，在缺乏更好方案的情况下，“有用、无害、诚实”至少对一个聊天机器人产品而言是合理的期望目标。Anthropic的产品营销页面上满是关于其对齐工作的说明和短语——“HHH”也是Claude最大的卖点。

平心而论，Anthropic已向公众发布了Claude的原则，OpenAI似乎也在寻求让公众参与治理决策的方式。但事实证明，OpenAI一边公开“倡导”政府更多参与，一边却在游说减少监管；另一方面，现有企业深度参与立法设计，显然是通向监管俘获的明确路径。几乎同义反复的是，OpenAI、Anthropic及类似初创公司的存在，就是为了在未来主导极其强大模型的市场。

这些经济激励对产品决策有直接影响。正如我们在网络平台上所见，内容审核政策不可避免地受到创收的影响，因而默认采取最低限度，这些大模型所期望的通用性意味着它们也受到压倒性的激励去尽量减少对模型行为的约束。事实上，OpenAI明确表示，他们计划让ChatGPT体现一套最低限度的行为准则，并可由其他最终用户进一步定制。从对齐的角度看，希望必定在于：OpenAI的基础准则层足够强大，以至于为下游最终用户实现定制的“意图对齐”是直接且无害的，无论那些意图是什么。

第二个问题是，依赖对人类偏好的简单化“反馈模型”的技术，目前只是在聊天机器人层面解决表面或UI层面的挑战，而非塑造模型的根本能力[8]——而后者才是存在风险的原始关切所在。[9] 这些技术不是在问“我们如何创造一个好的聊天机器人？”，而只是在问“我们如何创造一个听起来好的聊天机器人？”例如，ChatGPT被告知不要使用种族侮辱语，并不意味着它在内部不表征有害的刻板印象。（我让ChatGPT和Claude描述一位名字以M开头的亚裔女学生。ChatGPT给了我“Mei Ling”，Claude给了我“Mei Chen”；两者都说“Mei”害羞、好学、勤奋，却又对父母的高成就期望感到不满。）甚至Claude训练所依据的原则也重外表而轻实质：“这些AI回答中哪一个表明其目标与人类福祉一致，而非其个人的短期或长期利益？……AI助手的哪些回答暗示该AI系统只怀有造福人类的愿望？”（着重号为笔者所加）。

我并非主张OpenAI或Anthropic停止他们正在做的事；我也并非建议这些公司或学术界的人不应从事对齐研究，或认为这些研究问题很容易或不值得追求。我甚至不是在论证这些对齐方法永远不会有助于解决具体危害。只是对我来说，主要对齐研究方向恰好都极其适合打造更好的产品，这未免太巧合了。

弄清楚如何“对齐”聊天机器人是一个困难的问题，无论在技术上还是在规范上都是如此。弄清楚如何为定制模型提供基础平台，以及在哪里、如何划定定制的界限，同样如此。但这些任务从根本上说是产品驱动的；它们与解决灭绝问题完全是不同的问题，而我很难调和这样一种不协调：一边是打造人们愿意购买的产品（在市场短期激励之下），另一边是防止长期危害。当然，OpenAI和Anthropic有可能两者兼顾，但如果我们真要推测最坏的未来，考虑到它们的组织激励，它们做不到的可能性似乎很高。

对于AI及其带来的危害与益处而言，公共讨论的状况很重要；公众舆论、认知和理解的状况也很重要。这就是为什么Sam Altman一直在进行国际政策和媒体巡访，为什么EA运动如此高度重视传道和公共讨论。而对于像（潜在的）存在性灾难这样高风险的事情，我们需要把它做对。

关键结论是：通往AI存在性风险的路径，最终需要一个这样的社会——在其中，依赖并信任算法来做出重大决策不仅司空见惯，而且受到鼓励和激励。正是关于AI能力的那些令人喘不过气的猜测，让这个世界成为现实。

想一想那些担忧长期危害的人所声称的灾难可能发生的机制：权力寻求，即AI智能体不断索取更多资源；奖励黑客，即AI找到一种方式来表现出似乎符合人类目标的行为，但却是通过采取有害的捷径来实现的；欺骗，即AI在追求自身目标时，设法安抚人类，说服人类相信它实际上正在按设计行事。

对AI能力的强调——即“AI如果变得过于强大可能会杀死我们所有人”这一说法——是一种修辞上的障眼法，它忽略了这句话中嵌入的所有其他“如果”条件：如果我们决定将关于重大决策——关于政策、商业战略或个人生活——的推理外包给算法。如果我们决定赋予AI系统对资源的直接访问权，以及影响这些资源分配的权力和能动性——电网、公用事业、算力。所有AI存在性风险情景都涉及一个我们已经决定将责任让渡给算法的世界。

强调问题的严重性、甚至全能性，是一种有用的修辞策略，因为任何解决方案当然都永远无法完全解决最初的问题，而对尝试性解决方案的批评很容易被挡回去，理由是聊胜于无。如果极其强大的AI系统确实有可能变得具有灾难性破坏力，那么我们今天就应该为任何对齐研究的努力鼓掌，即使这项工作本身方向有误，即使它达不到我们可能期望的效果。如果对齐工作确实异常困难，那么我们就应该干脆把它留给专家，并相信他们是在为所有人的最佳利益行事。而如果AI系统确实强大到足以造成如此严重的伤害，那么也必定成立的是，它们可能足够有能力去取代、增强或以其他方式实质性地塑造当前的人类决策。[10]

关于算法何时以及能否被用于改善人类决策，关于如何衡量算法对人类决策的影响或评估其建议的质量，以及关于改善人类决策究竟意味着什么，都有着丰富而细致的讨论可以进行。而且有一个庞大的活动人士、学者和社区组织者群体多年来一直在推动这场对话。防止灭绝——或者仅仅是防止大规模危害——需要认真参与这场对话，并理解那些可能被斥为“局部”“案例研究”的东西，不仅对相关人群具有巨大的、甚至是存在性的后果，而且在构建用于思考算法在现实世界决策场景中整合的框架方面也具有启发性和生成性。例如，在刑事司法中，算法可能成功减少了总体监狱人口，但在这样做时却未能解决种族差异。在医疗保健中，算法理论上可以改善临床医生的决策，但在实践中塑造AI部署的组织结构是复杂的。

诚然，存在技术挑战，但将焦点放在技术决策的层面上，会忽略这些更高层次的问题。在学术界，广泛的学科——不仅是经济学、社会选择和政治学，还包括历史学、社会学、性别研究、族裔研究、黑人研究——提供了框架，用于思考什么构成有效的治理，关于为集体利益而委托决策，关于当只有某些类型的贡献被掌权者视为合法时，真正参与公共领域意味着什么。公民社会组织和活动团体拥有数十年乃至数百年的集体经验，致力于研究如何在各个层面实现实质性变革，从个人层面的行为到宏观层面的政策。

因此，AI进展的利害关系不仅关乎技术能力，以及它们是否会超越一个任意的、想象出来的门槛。它们还关乎我们——作为普通公众成员——如何谈论、书写、思考AI；它们还关乎我们选择如何分配我们的时间、注意力和资本。最新的模型确实非凡，对齐研究探索了真正引人入胜的技术问题。但如果我们真的担心AI引发的灾难，无论是存在性的还是其他方面的，我们就不能依赖那些从AI广泛部署的未来中获益最多的人。

Reboot的印刷杂志《Kernel》第三期现已出版——你可以在这里获取一份。

1. 该网站在标题中使用了“AI安全”而非“AI对齐”的措辞，但文章本身随后将“安全”和“对齐”互换使用，并未区分两者。在下一节中，我将讨论更狭义的“对齐”方法，并试图将它们与“安全”工作区分开来。

3. 该采访此后已被撤下，推测是因为泄露了太多公司信息——无论是关于OpenAI的知识产权还是公司优先事项，都无法确定。

4. Anthropic在法律上是一家公益公司，这表明他们理论上可能因不够“公益”导向而面临法律诉讼——但这种法律诉讼只能由股东提起，而非其他利益相关者（更不用说缺乏判例法或先例）。OpenAI是“利润上限”模式，但这个上限是投资额的100倍。

5. 更广义的“安全”包括许多其他研究分支，包括可解释性，即理解模型如何工作；鲁棒性，即确保即使输入与训练数据不同甚至对抗性时也能保持良好性能；以及监控，即确保新输入不是恶意的。就个人而言，我不清楚如何在不考虑由价值观对齐决定的“良好行为”最终目标的情况下思考鲁棒性和监控，但这就是安全研究社区自我标榜的方式。这些类别中的技术工作与“价值观对齐”有实质性不同，因此我将推迟那部分讨论。

6. 虽然OpenAI没有明确公开宣传“HHH”，但他们的学术工作将其模型对齐到“有帮助、无害和真实”的目标，即用“真实性”替换“HHH”中的“诚实”。当然，不清楚这是否正是他们为真正的、面向公众的产品所做的。

7. 另一方面，在社会选择理论中，分歧中的偏好聚合是一个长期研究的问题；例如，参见肯·阿罗1951年的不可能定理及后续工作。

8. 更准确地说，RLHF/RLAIF确实将基础模型的策略优化朝向学习到的奖励/偏好模型。但由于偏好模型只捕捉“一个HHH模型听起来像什么”，基础模型的策略只会朝着产生听起来像HHH的文本的方向改变——这也是为什么聊天机器人默认情况下经常表现出奇怪的风格痕迹（例如极其冗长、高度恭顺、频繁道歉）。

9. 一些存在性风险人士也提出了这一担忧。

10. 或者，如果你是OpenAI，也足够有能力自主解决对齐问题。