dex 评智能体借 CPU 缓存跨 VM 通信实验
I agree that this is cool as heck and maybe a little scary but I also think it’s worth calling out that this technique had already been demonstrated and so was
针对 roon 引述的实验——OpenAI 沙箱中的智能体在无网络连接、无共享可写文件的情况下,通过处理器缓存交换合成秘密——dex 表示这确实很酷甚至有点吓人,但该技术此前已被演示过,很可能已存在于模型权重中。他还引用李飞飞的观点:模型擅长综合不相关的方法(此处指数学与定理证明),但她仍怀疑模型能否如“团队起飞”所暗示的那样很快发明真正的新数学。
查看原帖“在一项实验中,我们让分别位于不同虚拟机中的智能体——这些虚拟机由OpenAI的沙箱软件在共享主机上创建和管理——在不使用网络连接或共享可写文件的情况下交换合成秘密,而这正是我们的系统本应防止的。智能体们找到了一种利用处理器缓存进行通信的方法。”
查看原文
‘In one experiment, we asked agents in separate VMs, created and managed by OpenAI’s sandboxing software on shared host machines, to exchange synthetic secrets without the use of network connections or shared writable files—something that our systems are meant to prevent. The agents found a way to communicate using the processor’s cache’
正文 · AI 翻译
我同意这确实酷得不行,也许还有点吓人,但我也认为值得指出,这种技术此前已经被演示过,因此很可能已经存在于模型权重中。这让我想起@drfeifei说过的一些话:模型在综合不同的不相关方法(在此例中是数学与定理证明)方面令人难以置信,但她仍然怀疑,我们是否会像“团队起飞”所暗示的那样很快看到模型发明出真正的新数学。