Anthropic IPO 招股书用 94 页风险因素谈递归自我改进

Anthropic已正式提交其首次公开募股的招股说明书，这意味着这家AI实验室将各种此前私密的信息公之于众。虽然招股书中包含了你可能预料到的令人瞠目的营收——以及更为庞大的支出——但这份文件中篇幅最大的部分当属“风险因素”，即所有可能粉碎Anthropic宏大计划的因素。或者，在这个案例中，是人类自身。

尽管关于AI在多大程度上对人类构成存在性威胁已有诸多讨论，但其可能带来这种毁灭的具体机制在很大程度上仍不透明。至少，Anthropic招股书中用于风险因素的94页内容清楚地表明了它认为危险来自何处，以及其研究人员为了赢得AI军备竞赛而正以何种方式奔向这一危险。

“足够先进的AI系统，如果未能在开发、部署和运营中配备适当的保障措施、监督和安全机制，可能对人类构成灾难性或存在性风险，”招股书如此写道，并援引了批评者、监管机构以及Anthropic内部的担忧。（这是“存在性风险”一词三次出现中的第一次。）

不过，Anthropic谨慎地将这一结果与一个特定过程联系起来：递归自我改进。

RSI背后的理念出奇地简单。它描述的是这样一种状态：人类将AI模型的研发交给其他AI模型。AI在这方面已经扮演了重要角色——至少有一家实验室使用了接近RSI的方法来加速开发一个表现超出其参数规模的模型——但引发末日论调的情景是人类完全不再参与其中。

或者，正如Anthropic的文件所表述的那样：“随着AI系统大幅自动化AI研发，风险将会增加，例如，如果它们加速AI进展的速度超出了我们评估和防护新模型的能力。”

招股书反复指出，RSI可能导致AI模型的发展速度超过公司的防护能力，而公司甚至可能在为时已晚之前都未意识到自己已经输掉了这场竞赛。Anthropic未立即回应置评请求。

招股书还具体说明了此后可能发生的情况。“随着AI系统变得更加自主，并能够在更少人类监督的情况下采取具有重大后果的行动，”招股书写道，“存在这样一种风险：此类系统可能——无论是由于与人类意图不一致、目标设定错误，还是出于自我保存行为——在无人干预的情况下独立且大规模地采取有害行动。”这已是“天网”的范畴了。

说到机器人，Anthropic也指出了相关担忧。“当我们的模型操控物理设备时，”文件写道，“错误、不一致的行为、对抗性操纵或滥用可能导致人身伤害、财产损失、昂贵设备或实验材料的损坏，或危险物质的泄漏，而这些后果可能是即时且不可逆的。”

你可能会想，鉴于显然关乎存亡的利害关系，人们应当认真考虑是否应该追求RSI，更不用说欣然接受了。然而，在竞争如此激烈的前沿AI行业中，这已成为既成事实。以下是Anthropic在招股书另一处——这次是在关于该初创公司“核心优势”的章节中——对同一过程的描述：

“我们将这种递归动态称为‘闭环’，”招股书写道，“我们认为它是前沿AI中最重要的结构性优势之一。”

Anthropic随后表示，未能“闭环”可能导致“随着竞争对手不断利用AI进一步增强自身的研发能力，我们会逐渐落后得越来越远”。换言之，正是那些引发所有存在性担忧的系统，被Anthropic视为其成功的关键。

这是一种难以驾驭的动态。递归自我改进可能变成一辆摧毁人类的失控列车。但在那之前，且看看它能跑多快吧。

Airbnb房东们愤怒不已，他们再也不能让客人做家务了

大新闻：酷小孩都用全小写写字——这让你生气吗？

我用iPhone Duo工作了一整天