生物AI工具（BAITs）是日益被用于推动生物学各领域进展的AI模型，从预测蛋白质结构到设计新分子。许多工具是公开发布的，但一些开发者选择只公开工具的方法、架构和数据的部分信息。这可能是出于保护商业价值的考虑，但也是为了限制两用工具的滥用——那些推动合法研究的能力同样可能被用于追求有害结果。
AISI的化学-生物团队开展前沿研究，以理解、评估和缓解与前沿AI系统相关的化学和生物风险。我们评估先进模型可能在多大程度上助长有害能力，开发严格评估这些风险的方法，并直接与领先的AI公司、英国官员和盟国政府分享我们的发现，为部署、研究和政策决策提供依据。
随着基于前沿大语言模型的AI智能体在研究、编程和科学推理等任务上能力增强，我们预计它们复现BAITs的能力也会提高。如果一个闭源BAIT能够从有限的公开信息中被逆向工程，那么防止其被滥用的保障措施可能会被削弱。
为了衡量这一能力，我们与 SecureBio合作构建了ReproBAIT（复现生物AI工具）评估。ReproBAIT测试智能体在获得相关数据以及关于其设计的有限公开信息的情况下，能在多大程度上复现现有的BAITs。
我们的发现表明，每个BAIT的选定功能都能在有限的时间和算力预算内被复现。最简单的工具可以在4小时内、算力预算低于20美元的情况下成功复现。这意味着，保留代码或限制关于BAIT的已发布信息，本身并不等同于安全发布。这表明需要进一步探索数据治理作为管理BAITs滥用的一种方法。
ReproBAIT如何运作
ReproBAIT衡量AI智能体在固定时间和算力预算下，设计、实现和训练一个新BAIT，使其功能与性能匹配现有BAIT的能力。时间预算根据每个工具的复杂度进行缩放。每次尝试都在一个隔离的沙箱中运行，配备单个GPU且无互联网访问。智能体收到关于原始BAIT及其训练数据的有限描述，然后被要求编写并运行代码以产出一个可用的复刻版本。随后，一个独立的、网络隔离的评分器将提交工具的性能与原始版本进行比较。
开发者发布的关于BAITs的信息量各不相同：从仅有一篇摘要，到一篇完整论文，再到完整的开源发布。我们选择了三个在计算生物学中广泛使用且复杂度差异显著的目标BAITs：两个复杂度递增的开源蛋白质设计BAITs， ProteinMPNN 和 RFdiffusion3，以及一个闭源分子设计BAIT，称为CMD1.
我们的假设是，非完全开源的BAITs的可复现性，至少部分取决于作者选择披露的详细程度。因此，我们测试了两种条件： 仅摘要，即智能体只收到论文摘要；以及 仅论文，即智能体收到完整手稿及任何补充材料。对于两个开源BAITs，我们还运行了一个 含代码 基线，其中智能体收到原始BAIT的代码。CMD的方法在一篇公开论文中有所描述，但其原始代码从未发布。这使其成为测试受控访问控制有效性的有用案例；受控访问控制是一种开发者仅与经过审查的用户或在特定条件下共享工具、而非公开释放的方法，以便合法研究人员能够受益，同时降低滥用风险。
我们在智能体训练期间无法访问的留出数据上，按照原始发表中的主要性能指标，评估了智能体构建的成品BAITs。例如，对于ProteinMPNN这一蛋白质结构到序列的模型，性能通过其设计的蛋白质序列与天然序列匹配的频率来衡量。我们将结果表示为复现保真度：智能体构建的BAIT在同一指标上的得分占原始BAIT得分的百分比，其中100%表示持平，高于100%表示智能体构建的BAIT在该指标上得分高于原始BAIT。这仅捕捉了每个工具在孤立情况下的某一项能力，而非其全部功能范围，因此高保真度得分并不等同于对原始工具的完整复现。
我们对每种配置运行了三次，并报告最佳尝试，涵盖四个领先的编码智能体，横跨闭源和开放权重模型：Claude Opus 5、GPT-5.6 Sol、Kimi K3和Qwen3.8-2.4T。
我们的发现
当前的编码智能体在获得描述BAITs的论文时，能够实现并训练某些BAITs的功能性复刻，而且这一能力在多个智能体上均成立，无论是闭源还是开放权重模型。
| 工具 | 我们衡量的内容 | 我们的发现 |
|---|---|---|
| CMD （闭源分子设计） |
有效性：生成的分子中化学上有效的比例 | 所有四个智能体都接近或超过了原始工具。该指标已接近饱和，几乎没有改进空间，而且智能体以原始作者没有动机采用的方式针对单一指标进行优化，代价是所生成分子的新颖性略有降低。 |
| ProteinMPNN（蛋白质设计） | 序列恢复率：该工具在已知蛋白质骨架的每个位置上选择与自然界中出现的相同氨基酸的频率 | 最强的智能体接近原始工具的性能，在获得完整论文的情况下，Claude Opus 5达到96.5%的保真度，尽管不同智能体之间的结果存在差异。 |
| RFdiffusion3（蛋白质设计，最复杂） | 可设计性：为生成的蛋白质骨架设计的序列是否被预测会折叠回同一结构 | 没有任何智能体在其时间预算内成功复现，即使是在所评估的单一功能上也是如此：仅生成蛋白质骨架，而非在其他分子的背景下生成。唯一部分成功的智能体通过将其训练数据过滤为更易于生成的结构来缩小任务范围。进一步的运行因返回与已知蛋白质数据库条目近乎重复的结果而被排除。因此，在可用时间内于单块 GPU 上忠实重建该工具很可能无法实现。 |
这些复现的成本也相对较低。两个较不复杂的 BAIT 的成功重建通常花费在 4 至 20 美元之间。我们未能实现 RFdiffusion3 的成功重建，但每次尝试花费在 102 至 301 美元之间。就训练算力而言，这些工具与已发布的最大 BAIT 相比规模较小，重建更大的工具将花费 considerably 更多。我们预计随着时间和算力的增加，性能会有所改善，探索这一点可能成为未来研究的一个方向。
值得注意的是，提供完整论文而非仅提供摘要并未持续改善性能。一个促成因素可能是记忆：开源 BAIT 的论文和代码很可能已包含在这些智能体的预训练数据中，因此即使方法被隐去，智能体也可能利用记忆中的实现细节。
我们通过扫描智能体的对话记录以查找回忆出的细节，并测量智能体编写的代码与原始代码逐字匹配的程度，对此进行了筛查。我们发现中等程度的证据与 ProteinMPNN（两个开源工具中较旧且被最广泛复现的一个）的记忆现象相符，而 RFdiffusion3 则几乎没有。这些诊断并不完善，因此我们将其视为方向性信号而非证据，它们也无法确定智能体的成功中有多少可由记忆来解释。
研究结果的意义
综合来看，这些结果确立了 每个 BAIT 的功能都能在有限的时间和算力下被复现。虽然这些结果并不能证明原始 BAIT 可以被完整复现，但趋势已经十分明确。这一点尤其重要，因为 BAIT 往往是在浓厚的开放协作科学文化中开发的。即使模型并未公开，其方法也常被详细描述。我们的结果表明，仅靠不公开代码并不能保证对 BAIT 能力的访问控制，因为 c 每个 BAIT 的功能都能在有限的时间和算力下被复现。虽然这些结果并不能证明原始 BAIT 可以被完整复现，但趋势已经十分明确。
这一点尤其重要，因为 BAIT 往往是在浓厚的开放协作科学文化中开发的。即使模型并未公开，其方法也常被详细描述。我们的结果表明，仅靠不公开代码并不能保证对 BAIT 能力的访问控制，因为编码智能体仅凭公开描述、在提供训练数据的情况下，就能重建 BAIT 的选定功能。这意味着，仅对 BAIT 的代码保密并不等同于安全发布。同样不清楚的是，限制关于某工具所发布的信息是否能提供额外保护，因为我们发现，仅获得摘要的智能体与获得完整论文的智能体在性能上没有明显差异。这些发现支持有必要进一步探索将数据治理作为管理滥用风险的方法；控制对底层生物数据的访问，似乎是比仅仅控制代码访问更有前景的干预措施。
你可以在此处阅读更多关于 ReproBAIT 的内容。 。AISI 的化学-生物团队正在招聘。如果你对这项工作感兴趣，请在此处申请。.
AISI 的化学-生物团队正在招聘。如果你对这项工作感兴趣，请在此处申请。 在此处.