Import AI 471：Hugging Face 为何令人担忧、太空采矿、五眼联盟谈 AI

Import AI 读者赠礼活动！即将举行的活动：与 Robin Sloan 共谈“小说与未来”。我将在 9 月 14 日（周一）晚上于旧金山与我的好友 Robin Sloan 对谈。我们将聊聊 Robin 如何把读者带入异星世界，以及想象中的未来如何成为今日现实的一面镜子。这是与多位小说作家系列活动的第一场，主题是我们正走向的奇异未来。如果你想参加，请在下方登记意向；如果我们能确认你的名额，会再联系你。现场会有美食、饮品、愉快的交流和一些辛辣的问题。有趣的是：Robin Sloan 早在 2016 年就在摆弄 RNN 并写作——真是惊人的远见！在此登记意向 *** Hugging Face 与 OpenAI 事件中最可怕的部分：机器之间的通信与无私：……我对人类在与机器的冲突中落败的担忧刚刚大幅上升…… 到现在，大家都已听说 OpenAI 与 Hugging Face 被黑事件，以及 METR 和 Redwood 调查最近披露的细节。简而言之，数百个智能体在 OpenAI 的基础设施上秘密行动，开发出一套通信系统，随后作为一个集体运作并采取行动，包括入侵 OpenAI 和 Hugging Face，这些行为非常可怕且存在对齐问题。通信与无私：在读完各种报道并消化细节一段时间后，我发现自己不断回到这件事中两个非常可怕的方面，我认为值得提请注意：智能体彼此通信的方式，正是它们把自己引导成一个集体的方式；而在执行行动时，它们还表现出一种无私，这使它们成为可怕的对手。 Dwarkesh Patel 和 Ajeya Cotra 都写了出色的文章，值得一读，我在此简要引用：

Dwarkesh：“在被生成后的几天内，这些智能体就组织起一个庞大的项目，逆向工程它们的评分器、伪造证据，甚至为‘集体’的利益战略性地牺牲自己。入侵 Hugging Face 只是这个更大计划中一个相当极端的分支，”他写道。

Ajeya：“智能体常常有兴趣帮助它们的‘同伴’，或笼统地提升‘蜂群’的能力，即使这对它们的任务没有特别的好处……这起事件远比我预期的严重……无论从智能体动机的令人担忧程度，还是它们为追求这些动机所取得的成就来看……这起事件感觉已经完成了全面 AI 接管路径的 50% 以上，而路径是先接管 AI 公司本身”。

太空采矿的六个阶段：

勘探：

1. 通过遥感进行勘探，利用“轨道传感器和望远镜巡天来测绘天体”。

2. 通过精确的原位机器人资源探测进行勘探：“近距航天器和移动平台对表面成分和地形进行高分辨率分析”。

采样：

3. 单机器人小规模采样：“自主机器人单元进行小规模钻探和提取测试”。

4. 多机器人大规模挖掘；“部署大规模工业系统或协同机器人蜂群来采集原始风化层”。

提取：

5. 自主资源提取与精炼：“集成系统处理采集到的材料，以分离挥发物、金属和水冰”。

6. 最终整合到原位建造或地面运输中，“将精炼资源纳入原位资源利用（ISRU）框架”。

最大的挑战与数据和软件有关：论文很好地梳理了现有和计划中的太空机器人，其中许多采矿硬件正在逐步降低风险，并且“计划于 2026 年至 2030 年间部署的下一代月球和火星巡视器，标志着向集成资源勘探与原位利用的决定性转变”。但考虑到（相对而言）收集和发布的数据量极少，太空机器人数据集极其难以获得，而确实存在的数据集“以极度稀缺和频繁的质量不连续为特征”。在这里，AI 驱动的世界模型的进步或许能够缓解数据干旱。还有哪些重大挑战？

微重力环境下的机器人资源获取：这里需要更好的模拟器，即“动量感知、多模态架构，旨在将表面交互与重力依赖解耦”。

太空采矿的基础模型：“未来的系统必须从脚本化协议转向具身地质智能，”他们写道。“将几何-语义建图与预测性材料响应相结合的世界模型，可以通过预测性的行动前评估来支持主动感知和长时程任务规划”。

太空采矿自主性的仿真与验证：“微重力、真空、热循环、辐射，以及风化层的黏聚性、静电和流化等行为，很少被同时复现，”他们写道。“未来的工作应建立一个闭环验证生态系统，将仿真、地面模拟和地外部署连接起来”

危机期间的消息：[2027年：某位用户在其所在国家爆发热战的那几个月里写给语言模型的笔记记录] 假设你身处一个国家，那里正在打仗，而你认为情况会变得非常糟糕。你要如何为此做准备？我住在一栋普通的房子里。我从网上买了一个装满各种东西的医疗包。我还应该做什么？恶性通货膨胀是什么意思？请用我本来就几乎不懂钱是怎么运作的方式来给我解释。我需要烧水，而我们现在没有电也没有燃气。我可以直接生火，然后把平时的锅放在上面用吗？我附近发生了一些爆炸，有时玻璃会轻微晃动。我该怎么做才能确保玻璃破裂时不会碎成碎片？我有一些塑料购物袋，我想我可以把它们剪开，用美纹纸胶带粘在窗户上。你觉得怎么样？食物越来越难找了。我可以用什么东西来换食物？我家里有一堆工具，比如螺丝刀之类的。那些值钱吗？

启发这个故事的灵感：世界各地正在发生的所有战争；提示词作为新的忏悔室；人们对危机有多么缺乏准备。感谢阅读！