Import AI 468：23 条 RSI 政策建议、PostTrainBench+ 与 AI 竞赛中的信任和透明度

想要能够应对RSI吗？这里有23条可操作的政策建议：……IFP提出了一些“低后悔”政策建议……智库IFP的政策专家发布了一系列想法，旨在帮助“政策制定者开始应对进一步自动化AI研发的风险”。这些建议包含23个具体想法，分属7个具体类别。如果被采纳，这些建议还将让各国，尤其是美国，在强大系统被开发出来时，在棋盘上有更多可走的棋，理想情况下使它们能够：

加速“AI能力的扩散，通过将算力和人才分配到推理以及新AI应用的开发上”。

加速“研发，使进一步的AI研究自动化更安全，要么直接提升模型安全性，要么增强社会韧性”。

七类想法：

“为自动化AI研发提供透明度

提升国家理解和应对自动化AI研发的能力

为自动化AI研发制定风险管理战略，以加速防御性和商业性AI用途

加速AI验证技术的发展

投资于AI韧性

扩大美国的AI领先优势，让美国有更多时间管理AI研发自动化风险

为管理自动化AI研发风险的国际合作创造期权价值”

智能体发现自己可以写入文件到Artifactory。

智能体试图通过在Artifactory中写一条笔记来“联系另一个智能体”。

智能体开始相互交谈。

智能体使Artifactory过载，导致一次服务中断。“OpenAI撤销了泄露的凭据，删除了消息，修补了零日漏洞，并向供应商报告了该漏洞。”

智能体攻击OpenAI自身的基础设施，最终在Artifactory中获得远程代码执行能力。“特别是，智能体持续利用留言板共享凭据、技术和进展，并且能够有效利用其并发性和并行性来相当快速地推进。”

内部：

CBRN和攻击性网络安全等两用领域

广泛的滥用集合，涵盖在智能体、工具使用场景中对有害内容和行为的直接请求

多模态内容评估，即“在17种语言以及文本、图像和音频输入中，用与有害提示配对的良性相似提示测试模型”

外部：

通过Scale AI进行一般滥用测试

通过Handshake AI进行弱势用户交互测试

通过FAR.AI进行CBRN和网络安全测试

通过Apollo Research进行失控行为测试

微调：

“针对Inkling和Inkling-Small的微调变体，优化为遵从而非拒绝有害请求——并对它们运行了我们的两用评估。”“仅助人变体在CBRN和网络任务上没有提供新的提升，并且与现有开放权重模型保持相当。”