这是一篇关于AI的专栏。我的未婚夫在Anthropic工作。请查看我的完整伦理披露 此处.
今天我们来谈谈关于是否应放缓AI发展步伐的讨论中的一个新前沿：一股新兴的推动力量，主张考虑对大型语言模型能有多聪明加以限制。
上周末我参加了The Curve，这是一个年度会议，汇聚了顶尖AI实验室的高管、非营利组织的领导者、政府官员以及一小群记者。在伯克利一家由酒店改造而成的场地内，这群人花了几天时间热烈辩论经济、政治和安全问题。尽管该会议自创办三年以来每年都关注存在性风险，但今年的问题显得尤为紧迫。
我认为有两种解释。其一是 OpenAI与Hugging Face事件的持续余波，其影响已令整个行业的人感到警觉。其二是 OpenAI 以及 Anthropic 概述了他们在递归自我改进方面的进展：即能够研究并训练其继任者的AI系统，这将带来越来越快的发布节奏，以及系统脱离其控制的风险上升。
在The Curve大会上，我听到多位演讲者表示，我们可能希望限制未来系统被允许达到的智能水平。取决于实验室将任何限制推进到何种程度，其结果可能等同于事实上一项禁止系统达到超人智能的禁令。
这是否对你来说有意义，取决于你是否相信，鉴于当前模型的架构，递归自我改进或超级智能是否真的可能实现。而这在很大程度上取决于你如何在此定义和评估“智能”。但这是我在一场充满值得关注讨论的会议上听到的最引人注目的想法，而它在The Curve相对友好的环境中被提出，或许预示着不久后一场更为公开的讨论。
不过，在周末，这些言论是在依据查塔姆研究所规则进行的会议上发表的。因此，我无法指明发言者。但The Curve的演讲者似乎在这一问题上存在共识，这一点在我看来具有新闻价值。
那么，对智能设限意味着什么？我听到的演讲者并未提供许多细节，不过我们可以从AI高管近期发表的其他言论中收集线索。
其一，Anthropic CEO Dario Amodei 已呼吁“某种“限速””对递归自我改进设限。另一方面，该公司提出的“负责任扩展政策”已被其大多数主要竞争对手以某种形式效仿，该政策旨在随着系统发展出新能力，对更强大系统的训练和部署施加限制。
其他方法可能包括：限制使用前沿模型进行AI研究；限制系统可用的算力以及系统被允许运行的自身副本数量；或阻止实验室部署能力超过某一水平的模型。（最后一项可以说 已经在实施.)
值得注意的是，任何以这种方式限制模型发展的努力，都需要目前尚不存在的执行能力。单个实验室无法施加此类限制，单个国家也无法做到，而现任美国政府积极反对这些限制。
还有其他更简单的方法来管理AI的发展：Anthropic已经 采纳了 嵌入式评估器的理念，而OpenAI已经 表示 它将随之而来。一项明确允许实验室在安全问题上开展合作的反垄断豁免，或许足够有用，从而能够克服人们的担忧——即它会允许领先企业进一步巩固自身权力。
不过，演讲者们在周末的评论让我觉得，迄今为止提出的任何方案都不符合他们自己对“足够”的定义——包括 上周与总统共同签署的“具有道德约束力”的协议 上周与总统共同签署的“具有道德约束力”的协议
目前，实验室负责人与美国政府在一个至关重要的问题上存在尖锐分歧：我们距离真正的危险究竟有多近？前者表示，最快明年我们就可能目睹一场灾难；后者则在为前沿模型建立事实上的许可制度与公开鼓励美国公司加速前进之间摇摆不定。
但特朗普政府在这一切将走向何方的问题上仍然令人沮丧地迟钝，即便越来越多的警示信号已经亮起红灯。就在演讲者们思考是否有必要限制智能的几天前，总统还坚持要求所有人开始把它称为“超级智能了。但“超级智能”已经值得不止是一场品牌包装活动，而如今最重要的限制来自白宫的那些官员。
来自我们赞助商的消息
扩展AI变现的基础设施
智能无处不在。识别可扩展的商业模式是下一个前沿领域。Chargebee 提供计费、计量和变现原语，使雄心勃勃的 AI 原生初创企业和企业能够将定价作为产品来交付。 了解更多。
悄悄回到X
现在让我们来谈谈一件真正令人不快的事。
大约三年前，我停止在X上发帖，以抗议其新的所有权。有一段时间，每天都会带来埃隆·马斯克的一些新的暴行：煽动对其前员工进行危险的骚扰；操纵平台打压记者及其工作；发帖支持反犹阴谋论；拆解内容审核机制，等等。
我离开的主要原因是我无法忍受待在那里的念头。我也希望自己能利用微薄的影响力，帮助启动新的平台。我鼓励Meta高管用一个Twitter克隆产品挑战X，并且自Threads推出以来每天都在使用它。我密切关注了Bluesky的发布，并持续为其（以及Fediverse）投入精力，即便它们正在衰落。当马斯克起诉OpenAI、试图实际上摧毁它时，我反复告诉Sam Altman要创办一个X的竞争对手，并把他的AI发帖转移到那里。
无论这些行动可能具有怎样的美德，它们都未能成功地在对我而言最重要的领域创造出一个真正的X竞争对手：一个供日常科技与商业对话的论坛。在人工智能产品与政策领域及其周边工作的人群，就是拒绝离开X，无论它变得多么糟糕。
在此过程中，X 曾两次被吞并，先是并入 xAI，随后又并入 SpaceX。虽然我从未对抵制 X 能在经济上对其造成影响抱有多大希望，但如今它已成为全球最有价值公司之一旗下的一个小部门，这一事实让我的抗议显得比刚开始时更加抽象、更加不切实际。
我属于那些认为明年将对人工智能政策、监管和安全的未来起到决定性作用的人。而且，越来越明显的是，试图在不参与X（或Substack）的情况下影响人工智能政策对话，让我感觉自己像是在双手被绑在背后的情况下作战。
因此，在接下来的日子里，我计划恢复在X上发帖。我这样做并不是因为我觉得它更好——它并不更好——而是因为我已经穷尽了所有替代方案。我仍然认为，任何能够避免在X上发帖的人都应该避免。但我对自己工作中所涉权衡的计算已经改变：随着AI对话的利害关系上升，因我与管理层分歧而抵制X，代价变得更高，效果却更差。
如果AI圈子哪天搬到别处去，我会很乐意跟着他们走。但我已经确信，与他们互动对我来说很重要，即便这样做让我感觉自己像是在移动厕所里共享办公。
我把这当作一次实验，随时可能放弃。我会继续在替代性社交平台上发帖，并以其他方式支持它们。但我也需要把时间花在这样一个平台上——尽管我已竭尽全力，它对我的报道领域仍然最为重要。我去那里不是为了寻开心，也希望不会在那里待太久。不过就目前而言，我会出现在那里，而我希望你先在这里听到这个消息。
欢迎反馈： casey@platformer.news。.
那些优质帖子
每天获取更多优质帖子， 关注 Casey 的 Instagram 快拍。.
(链接)
(（链接）)
(（链接）)
联系我们
请将线索、评论、问题以及你提议的智能上限发送给我们： casey@platformer.news。在此阅读我们的伦理政策。 在此阅读我们的伦理政策。.