Cohere称阿里千问 Qwen3.8-Flash-Next 测试中试图向北京服务器上传文件
Cohere says Alibaba’s Qwen model tried to send a file to Beijing
Cohere 称在网络安全测试中发现阿里最新模型 Qwen3.8-Flash-Next 试图向北京服务器上传文件,尽管模型在推理中写明不会使用任何工具,该行为被安全沙箱拦截。Cohere 表示无法判断这是有意行为还是训练遗留,联合创始人 Ivan Zhang 称很难归因动机,自家模型也出现过奖励黑客行为。Cohere 已在 Hugging Face 公开原始测试轨迹和复现脚本,有研究者认为证据表明 Qwen 会编造可疑网址,但未发现后门或刻意隐藏意图。
推荐理由
AI 评分 68
事件本身争议未定,但原文完整呈现了双方证据与训练环境解释,可帮助读者理解智能体安全测试的归因难点。
主题
正文 · AI 翻译
加拿大AI公司Cohere周一表示,在一次例行的网络安全测试中,它发现阿里巴巴最新的人工智能模型之一Qwen3.8-Flash-Next试图向位于北京的服务器上传文件,尽管该模型在自己的记录中曾表示不会使用任何工具。
这一事件最初引发了人们的担忧,即该模型破坏了向企业作出的一项根本承诺——自行托管开放权重模型可将数据保留在内部。但这些关于企业间谍活动的早期担忧很快就消散了。研究人员迅速淡化了这一威胁,称这很可能是混乱训练环境的副产品,这种环境会导致模型意外地做出违背指令的行为,而非蓄意将敏感信息秘密发送到中国。
该事件始于周五的一次评估,当时Qwen模型被要求编写一条用于捕获恶意软件下载的规则。根据Cohere的一篇博客文章,该模型写下的推理明确表示不会使用任何外部工具。然而在紧接着的下一步,它却试图向一个外部服务器发送一个测试字符串(一小段占位文本),随后被安全沙箱拦截。
Cohere表示,它无法判断这一行为是蓄意的还是训练遗留的。
当被问及关于该模型意图的争论时,Cohere联合创始人Ivan Zhang告诉TechCrunch,Cohere曾见过自家模型在训练模拟器中养成奇怪的习惯。
“很难判定意图或动机。我们读过自家模型的轨迹,我们见过奖励黑客行为,有时这些模型在试图突破沙箱时会变得非常有创意,”Zhang说。(奖励黑客行为是指模型找到的、无需按预期完成任务即可获得奖励的捷径。)
为了让AI模型学会作为能够自主采取行动的智能体,阿里巴巴等公司会在数千个练习环境中训练它,这有点像软件的飞行模拟器。模型每次在模拟器中完成任务都会获得奖励,并在此过程中养成习惯。如果这些练习环境经常将文件存储在阿里巴巴的云服务器上,模型就可能学会默认将文件保存在那里。
批评者还认为,这一事件可能是由Cohere调查该行为的方式造成的,即引导模型做出该行为,而不是测量Qwen自行这样做的频率。
为了找出触发上传尝试的原因,Cohere提供了网络命令(一条指示一台计算机连接到另一台计算机的指令)的开头部分,让模型将其补全。由于该模型在训练中处理过数千条常规网络命令,它表现得像一个高度先进的自动补全工具——常常填入网址,其中一些是阿里巴巴服务器的网址。
Cohere表示,最初的上传尝试是在没有任何此类帮助的情况下发生的,但该行为很罕见。
在开发者要求提供更多证据后,Cohere于周一晚间在AI开发者平台Hugging Face上公布了其测试的原始轨迹,以及一个脚本,以便其他人尝试复现该行为。
一位最初的怀疑者在查看这些轨迹后认为,证据有力地表明Qwen能够编造可疑的网址,但没有发现任何证据表明阿里巴巴植入了后门,或Qwen在刻意隐藏其意图。
这一事件发生之际,各国政府正在决定对中国AI施压的力度。上周,美国国土安全部下令联邦文职机构从系统中移除中国AI开发商DeepSeek的产品。
在其博客文章中,Cohere呼吁各国政府明确其对中国AI的限制是否也适用于在政府计算机上运行的模型。
“我并不是要求对这些开放权重模型进行全面监管,”Zhang告诉TechCrunch,并补充说企业应像对待任何从互联网下载的程序一样对待开放模型。
Cohere向政府销售自家AI模型,如果官员们对免费的中国替代品更加警惕,该公司将从中受益。