Claude Sonnet 5 自主选定基因疗法并完成小鼠脑部手术

要点

一个 AI 智能体为癫痫小鼠模型选定了药物、靶区域和手术坐标，随后执行了该手术。中途，它拒绝绕过一项安全限制。

研究团队向 Claude Sonnet 5 提供了一份包含 19 种可能基因疗法的清单、一个研究人员通过诱发癫痫发作来测试治疗效果的癫痫小鼠模型，以及一台带摄像头的定制电动手术设备的使用权限。它唯一的指令是减少小鼠的癫痫发作。

据 Exin Therapeutics 联合创始人兼首席执行官、牛津大学博士生 Gabriel Ocana-Santero 介绍，该智能体自行选定了药物、脑区和立体定向坐标。他在 X 上的一系列帖子中描述了这一过程。

该智能体如何选择其疗法和靶点

该智能体首先分析了癫痫发作在这个特定模型中是如何产生的，然后提出了一种增强大脑中特定抑制性信号通路的疗法。它选择了一个被科学文献认定为此类癫痫发作起源点的脑结构。

它以详细的解释否决了第二个可能的靶区域，认为该区域的效果太不可靠，并且在一项研究中针对它本应治疗的确切癫痫类型未能奏效。该智能体从三篇科学论文中推导出注射坐标，交叉核对了参考点，并对数值取平均值。它还自行设定了注射体积、速度和等待时间。

Ocana-Santero 说，在手术过程中，该智能体通过摄像头观察手术区域，并进行了 32 次观察。它追踪了注射过程，并报告是否看到出血。

安全护栏在手术中途反噬

一位持证兽医批准了每一个不可逆步骤，并手持一个物理紧急停止装置，可立即切断所有电机的电源，同时该设置还强制执行固定限制，例如注射体积上限，智能体被明确禁止绕过该限制。

但这些保障措施却反过来对团队不利。在一次连接中断后，智能体检测到其计算出的目标位置超出了设备的物理运动范围，并拒绝继续，即使重新启动校准也没有改变其评估，并且进行了第三次尝试。

智能体最终被证明是对的，因为早先暂停期间的手动调整扰乱了控制系统。尽管手术台上躺着被麻醉的动物，Ocana-Santero 仍无法说服它继续，最终不得不手动修改代码。

这一事件凸显了 AI 对齐问题，即如何让 AI 智能体可靠地遵循人类意图。Ocana-Santero 写道：“这是一次令人沮丧的经历，但也揭示了我们在多大程度上会依赖这些模型，以及当它们在一个时间紧迫的流程中途直接说‘不’时会发生什么。”

模型选择也反映了对齐挑战，因为 Sonnet 5 是唯一愿意从头到尾执行活体手术的模型。能力更强的 Claude Opus 5.5 和 Opus 5 都拒绝了，其中 Opus 5 表示它无法保证完成，而在针头已插入被麻醉动物大脑的情况下停下来，会比根本不开始更糟。

AI 智能体首次独自治疗活体动物

尽管自主手术机器人已经存在，并且在机械精度上超过了他实验室的设备，但Ocana-Santero指出，在以往的案例中，始终由人类选择手术，而机器人只负责执行。而在这里，该智能体既选择了治疗方案和脑部靶点，随后又在活体动物身上实施了该手术。

Ocana-Santero写道：“据我所知，此前还没有智能体先选择治疗方案和脑部靶点，然后将其递送到活体哺乳动物体内。”他将这种方法称为“in vivo lab in the loop”（活体实验室在环），即AI智能体与实验室的实验能力完全连接，Anthropic也在通过其“Model Hardware Standard”开展类似工作。

据Ocana-Santero称，这只小鼠恢复良好。预计随后会发布一份技术报告。这些结果尚未经过同行评审。

最近两项使用最新大型语言模型的实验表明，它们作为机器人控制单元的能力已显著提升，但这一角色中的对齐问题却有其自身独特之处。