英国 AISI 发布 ReproBAIT 评估:AI 编码智能体能否从论文复现生物 AI 工具
英国 AI Security Institute 的 Chem-Bio 团队与 SecureBio 合作构建 ReproBAIT 评估,测试 AI 编码智能体在给定数据和有限公开信息下复现生物 AI 工具(BAITs)的能力。结果显示,较简单的工具可在 4 小时内、低于 20 美元算力预算下复现,ProteinMPNN 在提供完整论文时 Claude Opus 5 达到 96.5% 复现保真度,而最复杂的 RFdiffusion3 无智能体在时限内成功复现。团队据此指出,仅保留代码或限制论文信息并不等于安全发布,控制底层生物数据的访问可能比控制代码更有效。

频率 最强的智能体接近原始工具的性能,在获得完整论文的情况下,Claude Opus 5达到96.5%的保真度,尽管不同智能体之间的结果存在差异。 RFdiffusion3(蛋白质设计,最复杂) 可设计性:为生成的蛋白质骨架设计的序列是否被预测会折叠回同一结构 没有任何智能体在其时间预算内成功复现,即使是在所评估的单一功能上也是如此:仅生成蛋白质骨架,而非在其他分子的背景下生成。唯一部分成功的智能体通过将其训练数据过滤为更易于生成的结构来缩小任务范围。进一步的运行因返回与已知蛋白质数据库条目近乎重复的结果而被排除。因此,在可用时间内于单块 GPU 上忠实重建该工具很可能无法实现。 这些复现的成本也相对较低。两个较不复杂的 BAIT 的成功重建通常花费在 4 至 20 美元之间。我们未能实现 RFdiffusion3 的成功重建,但每次尝试花费在 102 至 301 美元之间。就训练算力而言,这些工具与已发布的最大 BAIT 相比规模较小,重建更大的工具将花费 considerably 更多。我们预计随着时间和算力的增加,性能会有所改善,探索这一点可能成为未来研究的一个方向。 图 2:在
匹配字段正文

