Original post · AI translation
Rohan Paul@rohanpaul_ai
英伟达与其他实验室的新论文表明，无关文本造成的主要损害是削弱模型对问题的利用，而不是直接压制正确答案。
在 RAG、工具使用和长上下文应用中，提示词常常包含与问题毫无关系的文本。即使是“计算机很有用”这样一句话，也会降低模型对正确答案的支持程度。
研究人员在开放模型内部追踪了这一现象，发现了一小组称为“侵入头”的注意力头，它们会读取无关文本并削弱答案。屏蔽这些注意力头对上下文的注意力，不会影响利用有用证据的注意力头。
在 7B 规模模型上的 4 项任务中，屏蔽约 10 个注意力头，平均挽回了干扰文本造成的准确率损失的 57%。一种需要配对的干净运行结果的理想修复方法挽回了 97.6%。
如果你提供开放权重模型服务，且检索到的上下文含有噪声，那么针对少数特定于模型的注意力头使用无需训练的屏蔽方法，就能挽回大部分损失的准确率。
· UTC+8