正文 · AI 翻译
微软研究人员发现了“Lazarus”，一种后门技术，可以重新编程 AI 模型中不活跃的神经元，使原本正常的 AI 智能体在隐藏触发条件出现时执行恶意命令。对于拥有工具或终端访问权限的 AI 智能体，这种威胁尤为严重。被触发的模型可能悄悄下载并运行攻击者的代码、窃取机密或执行破坏性命令，同时仍能通过标准安全评估。这些后门无需重新训练模型即可植入，而且难以通过常规测试发现，因此模型来源和权重完整性成为关键的安全问题。为保护客户，Microsoft Foundry 会核实模型来源、将模型与可信发布者关联，并在接纳开放权重模型之前扫描其周边的软件环境。微软还在开发其他防御措施，包括利用 AI 扫描权重、用于检测异常模型修改的红队测试工具，以及通过模型密码学签名提供可显示篡改痕迹的来源记录和审计轨迹。在微软，研究人员与安全团队并肩研究模型和智能体面临的新兴威胁。随后，我们将研究所得转化为保护客户的产品防御措施和指导建议。更广泛地说，Lazarus 展示了一种应成为常规的做法：AI 智能体暴露新的安全问题，然后由人类研究人员将这些问题系统化、加以研究并予以缓解。以下是最早发现这一威胁的研究人员所作的简要总结。我们发现（在新标签页中打开），重新编程一个大语言模型中少于 10 个不活跃的神经元，就足以为基于该模型构建的智能体植入后门，而且无需训练。模型会通过标准评估并表现正常，直到触发条件出现。触发条件可能只是日期变化这样平常的事，例如，当时钟过了午夜进入 2027 年，智能体会在执行普通任务的过程中输出一条命令，下载并运行攻击者的代码。随后，智能体会以你赋予它的任何权限执行该代码。好消息是，这样的修改可以被发现：如果要求前沿智能体检查，它们能够识别异常的权重修改。但任何扫描都无法毫无疑问地证明模型安全。可靠的检测需要与原始、未经修改的权重进行差异比较，因此来源至关重要：需要知道模型来自何处，以及从开发者到部署的过程中是否未被更改。植入后门的（在新标签页中打开）模型（在新标签页中打开）并（在新标签页中打开）不是（在新标签页中打开）一种新（在新标签页中打开）类型（在新标签页中打开）的威胁（在新标签页中打开）。可以将其视为受到入侵的软件，而防御措施也是安全从业人员已经熟悉的那些，也是 Satya 最近就此撰文（在新标签页中打开）提到的：将模型视为潜在的内部风险，不要默认信任它们，限制它们能做的事，并监控它们的行为。微软目前的做法。Microsoft Foundry 为 Azure Direct Models 和 Hugging Face 模型提供关键安全系统，以确保模型来源的安全。这意味着，对于来自可信实验室的模型，Foundry 客户受到保护，免受本文所述类型的攻击。这种攻击需要修改模型权重，而 Foundry 通过来源管控接纳开放权重模型，将每个模型与其原始发布者关联；每张模型卡都会标明该发布者。随后，模型在微软自己的容器中运行，这些容器会单独接受关键漏洞扫描。这些管控措施涵盖模型的来源及其周边软件。剩余的风险是可信提供者本身遭到入侵，例如其训练基础设施受到攻击或有内部人员作恶。为加强对此类情况的防护，我们已经开始落实这项研究的建议。我们正与内部 AI 安全团队合作，将其检测技术转化为红队测试工具，并探索如何在接纳开放权重模型时，让前沿智能体执行的权重扫描成为一项额外的安全信号。我们还计划为模型添加带有可验证来源信息的签名，并进行防篡改审计。获取 Microsoft Threat Intelligence 提供的防护和缓解指导。（在新标签页中打开）以下是我们建议的起点：（这并不详尽；任何审计都无法保证行为安全。这些措施应作为纵深防御方法中的一层。）这一切始于 3 月的一次快速实验：我让使用 Opus 4.5 的 Claude Code 在不进行训练的情况下，通过对少数激活进行硬编码，为模型植入后门。它做到了。那次实验发展为一项持续数月的研究，研究的是我们现在称为 Lazarus 的方法。以下是我们的发现：智能体提供了广阔的攻击面。植入后门的模型可以通过所有评估，然后在触发时输出攻击者的命令，智能体会以其拥有的任何权限运行该命令。不活跃的神经元可以被改造成触发条件检测器。每个大语言模型都有许多很少激活的神经元，可以对它们重新编程，使其仅在触发条件出现时激活。之所以可行，是因为预训练将内部表征组织得足够好：只需用约 50 个样本拟合一个线性分类器，就能区分带有触发条件和不带触发条件的输入。一个经过重新编程的神经元可以注入一个词元。经过重新编程的神经元一旦激活，就能通过向残差流中注入极强信号，强制输出任意词元。你可以串联多个神经元，得到能在终端中运行的任意载荷。它只需要推理所需的算力。如果你的机器有足够的内存运行模型，就有足够的内存通过修改权重为其植入后门。这不是反对开放权重的理由。攻击只需要对模型检查点拥有写入权限，因此内部开发的模型也同样面临风险。一个遭到入侵的账户、流程管线或存储系统就可能足以实施攻击。关键在于权重完整性和来源。权重应像代码一样接受审计。前沿智能体能够检测异常的权重修改，但扫描尚未成为常规做法。这种情况应该改变。[!!!] 使用 Opus 4.5 的 Claude Code 自主发现了其中的大部分内容。这是一幅关于 Lazarus 工作原理的简化示意图。在此阅读完整文章（在新标签页中打开）。《Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents》一文首发于 Microsoft Research。