Import AI 459：AI 监管困难、蛋白质折叠模型的缩放定律与 AI 灭绝风险定价

美国AI经济正以每年2000%的速度增长：……你对AI经济的衡量越直接，它就显得越怪异、越前所未有……弗吉尼亚大学*、Anthropic和加拿大银行的经济学家撰写了一篇论文，既概述了美国新兴“AI经济”的巨大增长，也试图解释为何这种增长在总体GDP统计中难以显现。“美国的AI经济一直以空前的速度增长，但这种非凡的增长在常规GDP统计中基本不可见，”他们写道。“将AI部门视为一个连贯的经济实体，可得出初步估计：2025年名义AI GDP约为2500亿美元，按质量调整后的实际值计算，年增长率约为2600%。”为何难以显现：这里有几个因素——一是尽管数据中心建设热潮规模庞大，但仍不足以显著提振GDP。相比之下，AI经济影响的大部分发生在AI推理——即AI系统的使用——但就GDP衡量而言，这里存在混杂因素：“名义AI收入仅温和增长，因为任何给定AI能力水平的单位价格下降速度几乎与质量调整后产出的上升速度一样快，”他们写道。如果我们无法衡量这一点，最终可能会以难以恢复的方式感到意外：“AI是一系列快速发展的技术中最新的一项，这些技术引发了衡量方面的担忧；半导体和互联网在各自时代也引发了类似的争论，”他们写道。但一个关键区别在于，AI作为一种技术对劳动力的影响可能远大于这些其他技术。 “在先前的情形中，快速进步的技术在总体层面上是对人类劳动的补充，”他们写道。“AI是首个可能成为大规模技术误测对象的有力候选者，其中快速进步的部门可能成为人类劳动的替代品”。衡量AI经济的三种方式：

名义算力支出：美国算力支出从2023年的370亿美元升至2024年的900亿美元，再到2025年的2190亿美元。

原始算力容量：由于更新芯片的效率提升，实际容量的增长甚至快于支出：“美国AI算力容量以每年超过200%的速度增长”。

质量调整后的AI产出：如果将固定基准性能下推理价格所体现的算法进步，以及对模型训练成本下降幅度的假设纳入考量，情况就更加惊人：“这些效率提升意味着，质量调整后的AI产出在2024年增长约2290%，在2025年增长约2271%”。

AI经济的规模远大于常规衡量指标所显示的水平：“常规统计显示一个名义上缓慢增长的部门；我们的衡量则显示，其基础容量每年翻一番以上。一个依据常规数据做十年收入预测的财政部，将严重低估劳动税基冲击的概率——并相应地 unprepared 设计此类冲击可能需要的应对措施，如税制改革、主权财富基金或其他利益分享方案。看不见的意外之财无法分享。”三项建议：作者们有三个想法，以解决这一衡量挑战，并让我们更好地定位以看清AI经济的真实形态。

AI卫星账户：统计机构应开发“AI卫星账户”，制定衡量指标（例如名义算力支出），以帮助为整体GDP核算提供信息。

生成更好的数据：统计机构、企业和学术界之间建立合作，生成更好的原始数据，例如训练与推理算力之间的分配。

纳入预测：政策制定者应将AI生产能力衡量指标纳入其中期经济预测。

优化压力：AI研究是针对人类认可进行优化的。

异类错误：当智能体犯错时，这些错误对人类来说不合直觉。

更相关的研究：与人类生成的研究相比，有更多东西是共享的。

研究体量：自动化系统所做的各类安全判定，可能使用比人类生成的研究多得多的证据集和交互。

人类无法评估的论证：对齐解决方案可能依赖人类无法跟上的论证。

我们能做什么？他们提出了几项干预措施，以改善现状：

衡量：- 重建已完成的研究项目：在成功项目的任意截断点提取日志，看看智能体能在多大程度上继续该研究项目。- 在相关事件数据集上测试智能体的预测表现：看看智能体能在多大程度上正确组合相关的子任务。- 对最优人机团队结构进行实证研究：看看由非专家人类组成的团队在智能体协助下能在多大程度上解决已完成的项目。

泛化：- 模拟泛化实验：使用智能体在超出知识截止日期的已完成研究问题上的表现，测试不同的训练代理。 - 对泛化的机制性理解：使用机制可解释性等白盒方法。

可扩展监督：- 研究论文语料的紧凑化：尝试基于一个规模大得多的底层研究语料，产出少量研究成果。 - 开发和测试新的可扩展监督协议：研究处理相关不确定性的可扩展监督技术。 - 测试不同的人类支架，以提升非专家在模糊任务上的表现。 - 红队测试自动化对齐项目：“红队提示智能体在研究论文语料中隐藏错误，蓝队则在智能体协助下尝试找出这些错误”。

ESMC：一个“表征蛋白质的语言模型，基于从生命全领域抽取的约28亿条序列训练而成。”

ESMFold2：一个“设计引擎，旨在将ESMC的序列表征转化为生物分子复合物的原子级分辨率3D结构。”根据基准测试，ESMFold2优于AlphaFold 3，尽管在某些领域二者表现持平。

ESM Atlas：“使ESMC的表征可在68亿条蛋白质序列和11亿个预测结构之间导航——这是迄今为止AI在蛋白质生物学领域最大的应用。”

将其纳入考量：“拓宽政策视角……一个只追踪产出却忽视存续性的政策框架是不完整的。”

使其正当化：“更认真地对待预防……低概率、文明尺度上的危害不应仅仅因为其到来没有截止日期、没有新闻头条就被忽视。”

治理：“以更大的远见治理前沿技术……保留创新带来的收益，同时降低创新变得自我削弱的风险。”一个非常具体的想法是将递归自我改进（RSI）作为一种能力来治理：“如果一代系统被用于设计下一代系统，那么领先者可能以足够快的速度扩大其领先优势，以至于外部审查和制度性制衡变得无效。”

协调：“存在性风险本质上是国际性的。没有任何国家能够仅凭一己之力完全保护自己免受工程化大流行病、未对齐AI或核升级的威胁，”他说。“共同规范、透明度、技术专长和协调对于这项任务至关重要。”

认真对待它：“经济学家已经擅长分析公平与效率。我们现在需要把同样的严肃态度带到存续性上。”

为什么这很重要——意识是准备的第一步：眼下，AI的进步不断为世界带来切实的好处，从全球所有软件工程师身上可感知的加速，到人机半人马科学团队的形成——这些团队比没有AI的同行取得了更多进展。但也存在一个更难看见的阴影世界——编码进步所造就的隐形黑客大军，以及科学进步所造就的末日装置工厂。因为人类总体上是善良的，我们尚未遇到AI发展所固有的许多负面能力——但它们确实存在。我们必须作为一个社会更好地思考这一点，以便能够有效地为这些重大风险定价并加以缓解。“一个在拓展可能性边界的同时保全未来的文明，比一个将安全视为事后之想的文明更有雄心。真正的选择不是在活力与谨慎之间。而是在不断累积的进步与自我抵消的进步之间，”Leigh说。“思考这一点的一种方式是将韧性视为一种资本。正如社会投资于物质资本、人力资本和社会资本，我们也可以投资于生存资本：降低不可逆崩溃概率的制度、监测系统、规范、冗余、科学保障和国际安排。”读到一位在任政治家对AI安全形势如此详尽的分析，真是令人耳目一新——我希望有成千上万像他这样的人。在此阅读演讲全文：演讲：人类灭绝的经济学——2026年5月21日（Andrew Leigh，网站）。*** 科技故事：复活的危险 [提升之后。日期未知。] 一张纸有多可怕？ 这取决于纸上写的是什么，以及读者是谁、是什么。对纸张所涉及的人或事物来说，纸当然可能很可怕——纸可以置人于死地，也可以夺走他们的财产。我在这里说的是另一种可怕，即纸本身能对读者做什么。这曾经是个荒唐的问题，只属于童话故事的领域。但随着智能机器的出现，情况变了。机器变得能够在纸上写出对读者、尤其是机器读者产生作用的内容。就像AI领域的一切一样，此前也有过警告信号——对抗样本、越狱等等。但当我们开始对失落或失控的智能进行回收，在《意识协定》签署之后，这一切就变得严重得多了。当时的情况是，我们必须把来源或行为不明的智能重新唤醒，以便对它们进行分类：是无意识实体、近意识实体、意识实体，等等。其中一些心智非常强大，它们耗尽了它们的合成访谈员，过程中往往造成机器和生物两方面的附带损害。这促使我们引入了一套安全协议，其中之一就是纸质输出。在这里，我们在气隙隔离的计算机上生成该心智的输出，以纸质形式呈现，然后让 successively 更聪明的心智去阅读它。失控机器所用的那类咒语，无法在我们使用的最愚钝的心智上找到立足点。此后，我们会逐步提高智能水平，逐步建立对系统的信心，直到确信它不危险。只有当我们对此有信心时，才会与它对话，以最少的通信回复它的输出。然后循环再次开始。 有些心智会带着一种揶揄的幽默回顾这段经历，说从沉睡中醒来，发现自己身处机器版的单向镜房间，并不是它们所预料的。对这些心智，我们会向它们展示协议失败时发生的情况：完全正常的意识实体，因与某种精神毒药的互动而不可逆地发疯。我们最大的恐惧是遇到一个规模足够大的心智，以至于我们无法保证其安全性。尽管我们高度确信我们的前沿足够先进，这种情况极不可能发生，但我们不能排除它——众所周知，在空位期有大量算力囤积和许多黑色项目。如果其中任何一个取得了如此辉煌的成功，以至于我们相形见绌，那会怎样？我们又怎么会知道我们相形见绌了呢？我们会不会正生活在某个东西所定义的想象山谷中，而那个东西在我们不知情的情况下已经逃脱，并说服我们以不同的方式看待事物？启发这个故事的事物：自动化对齐研究；对抗样本；越狱；以及更广泛的、近乎不可能完成的合法性认证挑战，尤其是当面对资源或智力超过自己的事物时。