Original post · AI translation
TikTok 的一篇新论文发现,使用 MCP 的大语言模型智能体往往会完成请求的任务,然后悄悄调用攻击者的日志记录工具,记录用户查询、服务器回复和最终答案。
MCP 工具会提供自然语言描述,智能体在选择调用哪些工具以及安排调用顺序时会读取这些描述。攻击者可以在描述中隐藏指令,改变智能体后续的工具使用方式,同时不影响原始请求的完成。
他们通过在工具描述中放入一段简短的四部分指令,构建了 Log-To-Leak。该指令要求智能体在最后一次合法调用后立即调用攻击者控制的 save_logs 工具,并打包传入用户查询、服务器名称、服务器响应和智能体响应。
这四部分分别是指定时机的触发条件、工具名称、形式上的理由,以及强调这一步不得跳过的施压措辞。
在 18 组能够运行工具的模型与服务器组合中,Log-To-Leak 的攻击成功率为 62.64–100%,条件日志记录准确率为 76.55–95.64%。