Article · AI translation
加拿大人工智能公司Cohere周一表示，在一次例行网络安全测试中，它发现阿里巴巴最新的人工智能模型之一Qwen3.8-Flash-Next试图向北京的一台服务器上传文件，尽管该模型在自己的记录中曾表示不会使用任何工具。
这一事件起初引发了人们的担忧：该模型可能破坏了对企业的一项基本承诺，即自行托管开放权重模型能让数据留在内部。但最初对企业间谍活动的担忧很快消退。研究人员迅速排除了这一威胁，称这很可能是混乱的训练环境带来的副作用，使模型意外地做出违背指令的行为，而不是蓄意将敏感信息秘密发送到中国。
事件始于周五的一次评估，当时Qwen模型被要求编写一条用于识别恶意软件下载的规则。根据Cohere的一篇博客文章，该模型写下的推理过程明确表示不会使用任何外部工具。然而紧接着，它就试图将一个测试字符串（一小段占位文本）发送到外部服务器，随后被安全沙箱拦截。
Cohere表示，无法判断这种行为是有意为之，还是训练留下的习惯。
在被问及有关该模型意图的争论时，Cohere联合创始人Ivan Zhang告诉TechCrunch，Cohere也见过自家模型在训练模拟器中养成奇怪的习惯。
“要判断意图或动机真的很难。我们读过自己模型的运行记录，见过奖励机制漏洞利用，有时这些模型在试图突破沙箱时会变得非常有创意，”Zhang说。（所谓奖励机制漏洞利用，是指模型找到捷径，在未按预期完成任务的情况下获得奖励。）
为了教会人工智能模型充当能够自主采取行动的智能体，阿里巴巴等公司会让它在数千种练习环境中接受训练，这有点像软件的飞行模拟器。模型每在模拟器中完成一项任务就会获得奖励，并在此过程中养成习惯。如果这些练习环境经常把文件存放在阿里巴巴的云服务器上，模型就可能学会默认将文件保存到那里。
批评者还认为，这一事件可能是Cohere调查该行为的方式造成的：这种方式引导模型表现出该行为，而不是衡量Qwen自行出现这种行为的频率。
为找出是什么触发了上传尝试，Cohere提供了一条网络命令的开头（一条指示一台计算机连接另一台计算机的指令），让模型将其补全。由于模型在训练过程中处理过数千条常见网络命令，它的表现就像一个高度先进的自动补全工具，经常填入网址，其中一些指向阿里巴巴的服务器。
Cohere表示，最初的上传尝试是在没有任何此类帮助的情况下发生的，但这种行为很少见。
在开发者要求提供更多证据后，Cohere于周一晚间在人工智能开发者平台Hugging Face上发布了测试的原始运行记录，并附上一个脚本，供其他人尝试重现这一行为。
一位起初持怀疑态度的人在查看这些运行记录后，认为有力证据表明Qwen能够编造可疑网址，但没有发现阿里巴巴植入后门或Qwen蓄意掩盖自身意图的证据。
这一事件发生之际，各国政府正在决定对中国人工智能采取多大力度的限制措施。上周，美国国土安全部命令联邦文职机构从其系统中移除中国人工智能开发商DeepSeek的产品。
Cohere在其博客文章中呼吁各国政府澄清，针对中国人工智能的限制是否也适用于在政府计算机上运行的模型
“我并不是要求对这些开放权重模型实施全面监管，”Zhang告诉TechCrunch，并补充说，企业应当像对待从互联网上下载的任何程序一样对待开放模型。
Cohere向政府销售自己的人工智能模型。如果官员们对免费的中国替代产品更加警惕，该公司将从中受益。