生物武器风险不只来自 AI:Anthropic 报告与《生物战争:一个场景》访谈
There Are Plenty of Reasons to Be Concerned About Bioweapons Development—Even Without AI | WIRED
Anthropic 本月公开的“滥用”报告记录了 5 起外国科学家试图绕过 Claude 护栏查询“功能获得”研究的情况,Anthropic 拒绝作答并封禁了相关账号。记者 Michael Mechanic 就此采访了 Annie Jacobsen,她的新书《生物战争:一个场景》于 7 月底出版,书中认为生物武器的整体威胁仅次于核武器,因为入门门槛极低,而意外泄漏比蓄意投放更可能发生。
正文 · AI 翻译
最近我们听到很多关于AI驱动的人类灭绝的幽灵。也许我们对AI智能的错误信任会引发第三次世界大战。或者AI代理会发动广泛的网络攻击并接管互联网。如果给予太多自主权,机器就会失控。它们可能会试图欺骗它们的创造者——等等,这已经发生了。假设它们像《黑客帝国》中的史密斯探员那样得出结论:“人类……是一种瘟疫,而我们就是解药。”又或者聊天机器人帮助坏人释放一场字面意义上的瘟疫——一种生物武器。
最后这一点不仅仅是理论上的。Anthropic本月早些时候公开的一份“滥用”报告详细记录了五起外国科学家试图绕过Claude对“功能获得”查询的护栏的案例。这是一个委婉说法,指的是科学家对病原体的基因进行修补以在某种程度上增强它,例如使其更具传染性、更致命,或更能在家畜之间传播。
Anthropic拒绝了这些用户所寻求的答案并切断了他们的账户,同时指出他们的动机可能并非恶意。此类信息也可以用来帮助科学家开发疫苗和药物等大流行病应对措施。问题就在这里。与包括AI在内的许多技术一样,基因工程可以用于善也可以用于恶。因此又有了另一个委婉说法:“两用”。
我学的是分子生物学,早在AI进入所有人视野之前就一直在报道功能获得争论。根据我的经验,研究高风险病原体的研究人员往往默认这样一种观点:发表比不发表更好,我们最好去做这项工作以了解哪些遗传特征使生物体对人类构成威胁——全然不顾意外释放或蓄意释放可能带来的灾难性后果。
人类真的做这项工作会更好吗?我有我的疑虑。在读了安妮·雅各布森的最新著作后,我的疑虑更多了。我上次采访她是因为她的畅销书《核战争:一个场景》。她的新书《生物战争:一个场景》于7月底出版,沿用了同样的模板。因为我知道你正要问,是的,我确信她在鸡尾酒会上一定很有趣。
关于雅各布森,她拥有数十年的高层国家安全报道经验,其一大特点是她能无与伦比地接触到现任和前任军方及政府官员和科学家——这些人整天思考着对人类的威胁,并推演如果发生某某可怕的事情政府会如何应对。
除了人类灭绝的概念之外,她这两本书中最令人恐惧的方面或许与我们政府准备和应对能力的局限有关。美国关于核战争的总体计划过去是、无疑现在仍然是彻头彻尾的疯狂。至于生物战争,剧透警告,事实证明我们真的无法防御。(不客气。)为了篇幅和清晰度,我对我们的对话进行了编辑。
迈克尔·梅卡尼克:那么,安妮,既然你已经完成了核场景和生物场景,哪一个更可能让你夜不能寐?
安妮·雅各布森:我在书中转载的国防部关于大规模杀伤性武器威胁谱系的文件将核武器列在曲线的最远端,因为它们最具破坏性。但我真的很惊讶地看到生物武器紧随其后位居第二。我相信它们成为最大整体威胁的原因与全世界今天正在进行的讨论密切相关,那就是入门门槛极低,因此更有可能发生。
要拥有核武器,你必须拥有武器级裂变材料,然后你必须考虑将这些武器控制在武库之内。你必须拥有洲际弹道导弹、B-2轰炸机、装备核武器的潜艇。
你必须是一个国家!
是的。一个持有脏弹的恐怖分子,那完全是另一种威胁。使生物战争如此极其危险并成为最大整体威胁的组成部分在于,有九个核武器国家承担着这一遏制任务,但然后你看看世界其他地方,谁能够获得[潜在的大流行病病原体]……
几乎所有人。
是的。这就变得很可怕了。
如果你是生物武器设计者,你会在病原体中寻找什么?
我的头脑不会那样思考,因为我是一位母亲,也是社会的一员。但如果我是大流行病规划者,最让我害怕的是空气传播病原体的概念以及公众对这一概念的天真无知。我会考虑教育公众认清什么是真正的非凡威胁、什么不是,这有多么重要。
你的场景涉及一种武器化病原体从俄罗斯一个高度安全的实验室意外泄漏。根据你采访过的专家,意外泄漏比有人部署生物武器更可能还是更不可能?
意外泄漏被定位为更大的威胁,原因有几个。第一,我了解到中央情报局和其他情报机构有非常严肃的防扩散行动,以破坏生物武器计划。知道中情局在外面反制这些东西,你晚上能不能睡得更安稳,这取决于你自己,但确实有恐怖分子手中的生物武器计划被捣毁的例子。
我逐渐明白的是,唯一疯狂到明知后果会极其严重、会在全世界造成大流行,却仍要把生物武器部署或释放到社区中的人,就是那种有求死之心的人。许多恐怖分子都属于这一类,所以这让人深感不安。但那是较小的一群人。
然后你再想想所有那些人——科学家、民族国家、学术机构——在这些BSL-3和BSL-4实验室[生物安全四级是最高安全等级]里操纵病原体,使其毒性更强、传播性更强。我是说,全世界有3600个这样的实验室。而据我所知,并没有3600个恐怖组织。所以从统计上看,发生意外的几率要大得多。这就是为什么我的场景以实验室泄漏开始,也是因为它以前就发生过。
可以想象,一名研究人员在BSL-4实验室里用注射器扎到了自己,惊慌失措——人终究是人——然后有点陷入否认,回了家。
百分之百——而且确实发生过。然后还有别的例子,比如[尼古拉]乌斯季诺夫,我在书里一小段历史课中写到过他,他用致命的马尔堡病毒扎了自己,这种病毒无药可治,然后他做了优秀的苏联科学家该做的事,也就是坦白交代,接着被留在隔离病房里,关在类似潜艇密封门的那种门后面,死于出血热带来的可怕死亡。意外总会发生。
你和我都写过功能获得研究的风险,比如重建能在雪貂之间传播的大流行流感毒株——老天保佑,这东西千万别泄漏出去。你在书里写道,正是在9/11之后,有人邮寄炭疽的时候,风险最高的研究加速了。
是的,我觉得这很有意思。就炭疽而言,你是一个“死胡同宿主”,意思是如果你吸入它,它会杀死你,但它不会传播。炭疽永远不会变成大流行。它的目的是让人体验恐惧。但当你谈论空气传播病原体时,情况就非常不同了。
所以,快进到我们现在所处的位置,有了[先进的]基因工程、功能获得研究、AI赋能的生物技术,你就面临这样一种局面:就大流行潜力而言,一切皆有可能。你可以调整东西。实验室里的科学家可以努力制造一种能够逃避免疫力的病原体,比如鼠痘实验,或者制造空气传播的东西,比如H5N1雪貂流感实验。我们现在身处一个完全不同的世界。
我打电话给那位流感研究人员时,被他的傲慢惊呆了:你当然必须发表这个极其致命的东西的序列。他连想都没多想。这些人中有些人的傲慢真是惊人。
一种傲慢,或者一种精英主义,让你居高临下地对普通人说话,因为他们不是科学家。好像他们因为不是科学家,就不能对国家安全或公共卫生做决定。我觉得这极其令人警觉。我的场景类书籍——无论是核的还是生物的——最有影响力的地方之一,就是世界各地有主题专家、起草条约的人、梵蒂冈的红衣主教、联合国的外交官对我说:“谢谢你让这件事变得非常容易理解。”
简单就是力量!我很高兴你提到AI,因为我们最近被存在性担忧淹没,包括Anthropic的报告,说有人利用Claude可能试图协助生物武器工作。你的书完全没有涉及AI。你的消息来源是否对这项技术进一步降低制造致命病原体的门槛有严重担忧?
这还用问!我选择不把AI赋能的生物技术写进书里,是因为我想向读者展示,[即使没有AI]实验室里的科学家要调整大自然的病原体、制造一场近乎灭绝级事件的大流行是多么容易。但在致谢中,我写到了“镜像生命”这个非常可怕的概念,生物安全专家兼总统顾问戴维·雷尔曼向我解释过,它可以灭绝地球上所有人类。我写的是《生物战争:一个场景》,而不是《生物战争:最坏场景》,想想这一点就够疯狂了。
有意思的是,书出版之后我交谈过的那些主题专家。最近,实验室主任尼古拉斯·伯格曼博士邀请我去马里兰州弗雷德里克的德特里克堡BSL-4实验室,与员工做一场问答。他解释说,书出版后电话就开始响个不停。每个[在那里工作的人]都被问到:这是真的吗?这会发生吗?而人们接下来的问题是:为什么我们不知道这件事?
伯格曼博士对我说:“安妮,你把那件心照不宣的事大声说出来了。”所以我认为,AI赋能的生物威胁猛然闯入我们的意识是件好事,因为它让人们开始关注那件心照不宣的事。
威胁一直存在,但你不会让在这些实验室工作的人去拉响警报。据向我解释的说法,那不是他们的工作。他们的工作是研究对策。他们问我的许多问题都关于AI赋能的生物——他们是在向我探寻时代思潮。这场对话现在真的在杂货店里发生,也在最高级别的主题专业知识层面发生。
你的书谈到理查德·尼克松总统当年单方面废除了美国的生物武器计划。你的专家们相信我们不再有秘密计划了吗?
生物武器是非法的,美国的立场非常明确。国务院在本届政府和上届政府都发表过声明,表明他们的立场是俄罗斯和朝鲜拥有非法生物武器计划,而中国和伊朗拥有令人关切的计划——我把它理解为一种委婉说法。
鉴于生物武器反噬其制造者的可能性,任何蓄意释放似乎确实必须是非国家行为者,他们也许并不那么在乎自己是死是活。
为了梳理这些情景并理解它们如何展开,我研究了五角大楼的生物战争推演情景,也研究了大流行规划者们的非机密情景。前公共卫生官员和内阁级别的人聚在一起做这些演练。我在书中提到的一个叫Glade X的演练中,他们使用了一个生态恐怖组织,该组织对尼帕病毒进行了基因改造,使其更具传播性。在这个情景中,生态恐怖分子的意识形态立场是:有太多人在毁掉地球,所以让我们减少人口。
听起来像《黑客帝国》里的特工:“人类是一种病毒。”
大流行规划者编出这些非常戏剧化的叙事来推演并理解这些情况会如何展开,而我书中的大部分主要情节点,如果你愿意这么说的话,都来自那里。
你还借用了一些新冠的细节,包括“钻石公主”号邮轮上的疫情暴发,只不过你的病原体致命得多。
是的。当我在研究Glade X时,我震惊地得知政府深切关注大规模人口外逃——在那个情景中,是委内瑞拉人乘船前往波多黎各。以及如果美国海军不得不向那些冲进加勒比的船只上的感染者开火,会发生什么。这听起来像是杜撰,直到你读到这些大流行规划情景正被政府仔细推演。
你书中的一个关键方面是,在瘟疫情景下我们社会秩序的脆弱性。很多事情取决于人们如何反应,以及当局如何反应。
我当时在采访[退役空军]上校汤姆·埃尔哈德,他负责过五角大楼的战争推演情景。这些是核与生物灾难级情景,是为国防部长办公室[通过]一个名叫净评估办公室的传奇机构进行的。埃尔哈德告诉我:“对大规模生物攻击没有真正的防御,你只能做一些事情来减轻灭绝。”
从一位基于对政府如何运作、人们将如何反应的理解而为五角大楼推演过这些情景的人口中听到这样的话,令人震惊。
作为Devo的粉丝,我得知“权力下放”(devolution)是我们政府规划的一部分时很感兴趣。你能谈谈这个吗?
我不明白这个梗。
Devo乐队!他们在1980年代很火。我想现在还在。
那是指权力下放吗?
是的,但他们的主题是美国文化的退化。
我不知道这个。权力下放是我从[贝拉克]奥巴马总统的前FEMA局长克雷格·富盖特那里了解到的一项实际计划。它发生在我所描述的那种灾难性生物事件中,无政府状态爆发——根据民众对感染的恐惧以及意识到根本没有足够的医疗对策可分配(如果有的话),这是预料之中的。
无政府状态导致叛乱。总统宣布《叛乱法》,到那时,随着事态真正失控,“政府连续性准备”状态被提升到1级条件,这是最极端的。
进入COGCON 1状态后,权力下放计划随即启动。该计划涉及一批预先确定的人员,他们与民选、任命或政府任职人员无关,所有人都清楚自己的身份,并已签署合同承诺履行各自职责。他们会立即离开华盛顿特区地区,前往分布在全国各地的一系列机密掩体。我们只知道这些地点被称为热站点、冷站点和温站点。这些人前往那里,基本上就是等待灾难过去,以便他们能够重建政府。
这听起来像是从反乌托邦小说书页里撕下来的情节。
确实如此。该计划是机密的。大约十年前,这个名称被泄露给了媒体,于是FEMA官员决定解密这个名称,这就是为什么富盖特能稍微谈论一下它,而我也能提供一些信息,让你的想象力得以展开。
你为你的情景选择了一种特别恶劣的、武器化的鼠疫耶尔森菌菌株。为什么选择这种特定的病原体?
我对鼠疫特别感兴趣,因为我们有这么多历史,我可以从幸存者当时写下的记述中取材。看到人类遭受的彻底毁灭和道德代价,令人深受启发。我在书中引用了很多这类内容,让读者了解实际发生的事情:一场导致1.5亿人死亡、多达欧洲一半人口的大流行病。
我们之所以认为鼠疫是过去的疾病,是因为有抗生素。令人震惊的是,如今我们身处科技如此发达的时代,甚至开始担心机器会比人类更聪明,却正在倒退到这样一种境地:由于科学和技术,抗生素这一医疗对策可能被归零。这就是我选择鼠疫的原因:因为它似乎成了科学技术两种不同用途的黑暗隐喻,一种用于善,一种用于恶。
就像人工智能一样。
是不是你在那篇关于流感的文章里,有人说:“嗯,我们不会仅仅因为刀能杀人就停止制造刀吧?”
是的,就是那个傲慢的流感科学家。他还提到了飞机。那是在9·11之后不久。
对!我们不会停止制造飞机!我整个职业生涯都在思考意图,而这就是这一切中人的因素。当我得知苏联有一个极其黑暗、邪恶、非常先进的鼠疫计划——他们正在制造一种超级鼠疫武器——而且那是30或40年前,当时基因工程还处于起步阶段,我感到震惊。我采访了中情局和英国情报部门对这些苏联叛逃科学家的看管人员,这些科学家来到这里,告诉这些[情报官员]他们在做什么,所以我们得以听到诸如他们的意图是杀死所有人、留下基础设施完好无损之类的话。这种事你编都编不出来。
你得给全体人口接种疫苗——而等到病原体循环回来传到你身上时,也许这就不管用了。
苏联在很大程度上就是一座山上的城堡。他们建造瘟疫超级武器时,墙还没有倒塌。而且俄罗斯人也不是周末就飞巴黎,所以也许当时有这样一种想法:“我们给所有人接种瘟疫疫苗,西方人尽可以死光,我们随后进军接管。”
你还指出,瘟疫也许是第一种生物武器——14世纪成吉思汗的后裔率领的一支军队把染疫的尸体扔过热那亚共和国的城墙。
是的,它历史悠久,而且它是流行病规划者和五角大楼兵棋推演者认为的非常严重的威胁。肺鼠疫通过空气传播,致死率百分之百。
致死率这么高的东西并不多。
只有狂犬病病毒和鼠疫。所以,致力于消除一种病死率百分之百的疾病现有的医疗对策——抗生素(就像苏联人做的那样)——这太黑暗了。
你甚至把你的鼠疫做成了嵌合体——两种病原体合二为一!
只是因为苏联科学家在20世纪80年代就这么做了。
你认为这种恶魔般的东西在俄罗斯仍然存在吗?
我无法想象它们会不存在。按照国务院的说法,苏联时代的非法计划被并入了新的俄罗斯计划。这令人深感不安。
那么,你接下来的议程是什么?更可怕的场景?
[笑。]我在致谢中写道,重点不是恐慌。重点是施压。在巡回售书期间,有很多人[听说我的书很可怕]对我说:“我读了,实际上我觉得没那么害怕了。”
你开始意识到,有些存在性恐惧是基于假设性的担忧,而另一些则是你应该意识到的真实威胁。我希望我的书能为这部分讨论添砖加瓦。