Meta paper proposes testing LLM answers for consistency across viewpointsMachine translation

Meta 的一篇新论文提出了一个如此简单却有力的想法。

论文认为，似然性是判断大语言模型回答真假的错误标准，而在不同语境下保持一致的答案更值得信任。

大语言模型经过训练，会预测最有可能出现的下一个词元，因此它们学到的是文本中常见的内容，而不是真实的内容。训练数据中反复出现的虚假说法会变得更可能被预测出来，而罕见的真实事件则会被低估。

借鉴物理学和哲学，这篇论文认为，如果一个事实在视角变化后依然成立，它就是真实的。模型从多个视角作答，例如从 3 位医学专家的视角作答，保留所有答案共有的内容；如果没有共有内容，就不作答。

这篇论文没有进行实验，因此其证明依靠的是具体示例。在一个单一的二元示例中，损失值为 0.67 意味着准确率为 100%，而与之几乎相同的损失值 0.71 则意味着准确率为 0%。

在相信一个看似自信的答案之前，先检查它在角色设定、表述方式或语言改变后是否依然成立。