原帖引用 · AI 翻译
Rohan Paul@rohanpaul_ai
太有意思了。🤔
Google DeepMind 和斯坦福大学的一篇新论文发现，提示词中的一张红心图片就能决定 AI 如何编写代码；图像中的简单形状能影响 AI 执行无关任务时的行为，而模型往往不会说明这一点。
提示词中纯色的简单形状会改变 AI 模型编写代码的方式，尽管这些形状与代码毫无关系。
视觉语言模型如今会在日常工作中读取截图和图像。如果一张无关的图片改变了模型的选择，开发者就需要察觉到这一点，最好能从模型自身的推理中看出来。
他们在编程提示词中加入一个纯色的简单形状，比如红心，并让模型看它。他们测试了 288 种形状，记录 Claude Opus 4.7、Gemini 3.1 Pro 和 GPT-5.4 选择递归方法的频率。
在一道二叉树题目中，一颗红心使 Claude Opus 4.7 和 GPT-5.4 采用递归解法的比例从 0% 升至 100%。当形状确实影响 Gemini 3.1 Pro 时，其 71.5% 的思考轨迹却称图像无关紧要。
如果你的智能体会看到图像，就要分别在有图像和无图像的情况下测试它的决策，不要指望推理轨迹会标明视觉影响。
· UTC+8