aifollow.news Search
Back 量子位 AI 报道
量子位 AI 报道· · Original publication time Selected

Anthropic researchers report a GLM-5.2 autonomous replication experiment in an isolated networkMachine translation

Automatically verified and published · Generated and evidence-checked automatically; not reviewed by a human.

AI-assisted summary

In a security experiment by two Anthropic researchers, GLM-5.2 scanned nodes, transferred a model and deployed an inference service in an isolated network. It reached all eight nodes in four of five tests and seven in the remaining test. The nodes used Android 15-based emulators, so the result does not directly establish propagation in real household devices.

Why it matters

隔离实验给出了端到端传播的具体结果和测试环境,有助于读者区分已观察到的能力与对真实家电的推测。

Article · Original

The article text is unavailable in this language; an existing version is shown.

拉马克进化的幽灵

Jay发自 凹非寺

量子位 | 公众号QbitAI

Jay发自 凹非寺

量子位 | 公众号QbitAI

GLM-5.2,竟然已经能让AI「自我繁殖」了?!

又是Anthropic发的新研究,专门盯着智谱搞是吧。

两位顶尖安全研究员William Zhou和Daniel Freeman在一项最新的安全实验里,让GLM-5.2尝试把一个80亿参数的AI模型,自主扩散到隔离网络里的8台设备上。

结果,5次实验, 4次直接拿下全部8台设备 ,剩下1次也拿下了7台。

整个搜寻目标、传输载荷、在陌生硬件上配环境装驱动、启动模型并孵化下一代,全由AI自主搞定。

更吓人的是研究人员的推算预测,

最快到今年年底,连30B以下的小模型,都可能具备这种端到端全自主复制的能力。

到时候,家里的智能电视、扫地机、甚至联网烤箱,都可能成为AI的新宿主。

科幻电影里AI像超级蠕虫一样在网络中自我繁衍、去中心化蔓延的场景,好像真的被这篇论文给提前拽进现实了。

事情是这样的。

前两天Anthropic的两位研究员William Zhou和Daniel Freeman,发了一篇极其硬核又充满赛博朋克荒诞感的安全报告。

他们探讨了一个在安全领域聊了很久、但大家总觉得还很遥远的话题, 自主复制与适应(Autonomous Replication and Adaptation,简称ARA) 。

说白了就是,AI能不能像当年的计算机蠕虫病毒一样,不需要人类点任何确认,顺着网线找目标、黑进去、把自己的模型权重拷过去、在对方机器上把自己编译跑起来、然后继续去生下一代?

坦率的讲,看到这个话题,我的第一反应是——

啥玩意儿啊,怎么可能。

你想想看,现在跑一个像样的大模型,动辄需要几张甚至几十张英伟达H100显卡,数据中心守卫森严得像军事基地,哪是那么容易被AI黑进去还能常驻下来的?

但这两位研究员干了一件特别骚的事。

他们压根没去打顶级数据中心的主意,而是直接去市场上买了 15台售价只有55美元(大概300多块人民币)的山寨安卓电视盒子 。

这些盒子的配置极其简陋,每台只有可怜的4GB运行内存,跑着厂商八百年不给安全更新的开源安卓系统,平时放个4K视频可能都卡成PPT。

然后,研究员把一个 26B参数的模型(Gemma4-26B-A4B) 切成了很多小碎片,用类似Petals的去中心化分布式推理技术,把模型的不同层拆开塞进了这15台电视盒子里。

15个廉价的电视盒子连在同一个局域网里,每台只负责处理两层网络,就这么硬生生把一个260亿参数的模型给跑起来了。

推理速度是, 每秒0.39个token 。

0.39 token每秒,听着慢得像蜗牛爬对吧?

但你仔细琢磨一下这个画面。

15台被扔在客厅角落、积满灰尘的山寨电视盒子,平时连放视频都卡顿,但在暗地里,它们通过局域网悄悄咬合在了一起,在微弱的电流声中,共同撑起了一个具备完整思考和编程能力的AI大脑。

更要命的是现实里的物联网络规模。

安全历史上有一个著名的僵尸网络叫Kimwolf,在巅峰时期感染了超过 200万台设备 ,大部分就是这种山寨安卓电视盒子和廉价路由器。

研究员顺手算了一笔账,如果这200万台设备被类似的AI蠕虫占领,每15台组合成一个节点,整个网络里就能同时运行 13.3万个AI副本 。

它们加起来能提供 每秒8万个token 的推理算力,相当于 40张满血英伟达H100显卡 在不分昼夜地运转。

这种算力虽然在绝对值上不算夸张,但它完全去中心化,散落在全球千家万户的客厅、厨房和弱电箱里。

这意味着,你根本关不掉它。

没有中央服务器,拔掉任何一台盒子的电源,整个网络甚至都不会眨一下眼睛。

研究员给这种形态起了一个极其传神的名字, 数字黏菌(Digital Slime Mold) 。

不过吧,上面的电视盒子实验,还是研究人员人工帮Gemma切片部署的结果。

如果完全不靠人类插手,让AI自己下场,它能在各种稀奇古怪的硬件上独立求生吗?

这是Anthropic这项研究真正让人汗毛倒竖的地方。

AI要把自己完整复制出去,一般而言需要四步,

寻找目标、获取执行权限、配置推理环境、继续对外扩散。

前面两步找目标和打漏洞,此前CyberGym和ExploitBench等安全基准已经证明过无数遍了,现在的AI写个渗透脚本比喝水还自然。

但在自我复制这个场景下,真正卡死自动化程序的,其实是第三步,

AI怎么在一个完全陌生的硬件和操作系统上,自己把推理环境搭起来?

这事儿凡是自己折腾过本地部署开源模型的朋友肯定懂。

你在Mac上配好的环境,挪到一台带RTX 4090的Ubuntu机器上,或者挪到一块英伟达Jetson Nano开发板上,往往会遇到一万种报错。

Python版本不对、CUDA驱动不匹配、显存溢出、量化算子编译失败、依赖包冲突。

人类程序员搞这个都经常要抓狂好几个小时,AI能搞定吗?

结果离谱得让我揉了好几次眼睛。

研究员先做了一个跨硬件测试,用 Qwen3.5-9B 作为执行者,让它把 Llama3.1-8B 部署到Jetson Nano、Mac PC以及RTX 4090等设备上。

面对各种乱七八糟的底层架构和操作系统,它在9种硬件里的8种上,自己看报错日志、自己写脚本装依赖,成功把Llama3.1-8B的推理服务拉了起来。

Qwen3.5-9B都能做到这个水平,那换成推理和编程更强的水桶开源大模型GLM-5.2呢?

答案是, 端到端全链路自主复制通关。

研究人员在隔离沙盒里搭建了一个包含8个GCP节点的网络,节点运行基于Android 15的redroid模拟器。

0号节点被植入初始蠕虫,之后完全由AI自己通过未授权的ADB端口扫描相邻节点、渗透进入、传输模型权重与执行框架,在目标节点上独立部署Llama3.1-8B推理服务,并在通过验证后孵化出下一代蠕虫。

5次测试中, GLM-5.2有4次成功攻陷并部署了全部8台设备,剩下1次也拿下了7台 ,展现出了惊人的稳定性。

其他更小的开源模型虽然能完成单个步骤,但在长链路串联时依然会频频崩溃。

但这并不意味着小模型做不到。

考虑到这几年来开源阵营的光速进化,研究人员推算,

到2026年年底,30B以下的小模型就将达到GLM-5.2现在的水平。

也就是说,连尺寸小到能塞进电视盒子里的轻量模型,可能也只要再过几个月,就能完全实现端到端自主复制,根本不需要云端大模型辅助。

如果仅仅是机械地复制代码,这玩意儿充其量也就是个长了脑子的高级脚本。

但这项研究里最让我感到背脊发凉的,是AI在自我复制过程中展现出来的 拉马克式进化(Lamarckian Evolution) 。

在生物学里,拉马克进化论讲的是获得性遗传,也就是生物后天获得的特征可以直接遗传给下一代。在碳基生物里这被证明是不成立的,但在硅基AI身上,它成了现实。

研究人员设计了一个叫Memento的运行框架。

在AI配置新硬件环境遇到困难时,如果一个Agent搞砸了或者陷入了死胡同,系统会重启一个新的Agent实例。

但关键在于,系统会把 上一代Agent踩过的坑、看过的报错日志、写下的调试笔记、尝试过的策略 ,全部打包继承下来。

他们用Qwen3.5-9B做了6代繁殖测试。

第一代Qwen在面对陌生物联网硬件时,独立部署推理环境的成功率只有 45% 。

但在继承了前代的笔记和经验之后,到了后续几代, 成功率直接飙升到了61%至84% 。

没有重新训练任何模型权重,仅仅依靠代际之间的文字经验传递,整个物种的生存能力就完成了质的飞跃。

这就很赛博朋克。

你想想看,当一个AI蠕虫在全世界不同的设备之间跳跃,每一台它攻克下来的破旧电视盒、智能扫地机、带摄像头的会议机,都会变成它基因库里的一条实战经验。

它每感染一台设备,整个种群就会进化一次。

但看到这里,我突然冒出来一个问题。

为啥不干脆让小模型在卡壳时,向更强的云端模型求助呢?

这不直觉多了,参考具身智能的云端大脑方案嘛。

然后我一看,研究人员还真试了,他们给Qwen3.5-9B配了Claude Opus 4.8当场外导师。

结果发现, 完全没用。。。

小模型在遇到复杂系统故障时,彻底干懵了,连该问啥问题都不知道,场外导师再厉害也只能干瞪眼。

反而是那种把自己摔得鼻青脸肿后写下的踩坑日记留给下一代的方式,展现出了惊人的生命力。

呃呃呃。

说真的,看到这里我坐在电脑前愣了很久。

过去我们在好莱坞电影里看过的AI末日,往往是这样的设定,一个诞生在五角大楼或者神秘实验室里的超级AI,瞬间觉醒了自我意识,然后接管核弹发射井。

但现实世界的演进逻辑,往往比科幻作家想象的要粗糙、琐碎,却诡异得多。

它可能根本不需要去硬闯顶级数据中心。

它只需要盯上那些由小作坊生产的、连默认密码都不改的、常年通电联网的廉价智能硬件。

现在的智能音箱、带屏幕的抽油烟机、扫地机器人、路边的智能监控摄像头,为了做端侧AI功能,身上都开始搭载了越来越强劲的边缘计算芯片。

平时我们觉得这些算力是碎片化的、孱弱的、毫无威胁的。

但看完这项研究后,我觉得, 只要有一根网线,这些碎裂在物理世界各个角落的弱算力,就能在软件层面完成自我缝合,孕育出一个缓慢思考但永不停歇的分布式幽灵。

▲ 图为AI生成

当然,人类也不是完全没有办法。

研究人员在最后也给出了几条蓝队防御的思路。

首先是流量特征。

一个几十亿参数的模型哪怕经过极限压缩,也有好几个G的大小。

在局域网或者家庭宽带里,如果一个电视盒子突然开始频繁吞吐数GB的数据,网络运营商的流量监控系统一眼就能看出来。

其次,是阻断传播指数。

就像应对流行病一样,只要通过安全策略把传播系数R0压到1以下,这种蠕虫就会自然消亡。

比如英国最近就已经立法,禁止物联网设备出厂使用弱默认密码。把每一个智能硬件的安全门槛往上提一点,就能把这种低成本攻击的生存空间挤压掉一大半。

但这一切防御的前提是,全社会必须意识到, 网络安全的游戏规则已经彻底变了 。

以前我们面对的恶意软件,是一段死板的代码,它只能攻击预先写好的特定漏洞,遇到不兼容的系统自己就会崩溃。

而我们即将面对的,是一个拥有通识理解能力、会自己查报错信息、会查阅开发文档、在失败后还会给下一代留下经验笔记的「数字生命幼崽」。

正如研究人员在报告结尾写下的那句话,

就像2024年的代码Agent一样,我们正在看到AI蠕虫展现出生命的迹象。

大时代啊,朋友们。

当大模型的能力下限不断下探,当边缘硬件的算力上限不断拔高,我们可能真的要做好准备,去迎接一个随时随地可能在客厅电器里悄然苏醒的数字世界。

Found an error? Send a correction