Max Planck study finds reasoning makes models more likely to err togetherMachine translation

马克斯·普朗克研究所的一篇新论文发现，开启推理功能会让不同的大语言模型更趋于一致，即使答案是错的；而较长的推理轨迹则标示出它们在哪些地方存在分歧。

当几个大语言模型对同一个人作出判断时，一个模型给出的错误答案可能通过换用另一个模型来纠正。但这只有在各模型并非都犯同样错误时才行。

作者使用美国人口普查调查数据构建了3项预测任务，测试了9个Qwen和GPT模型在开启和关闭推理功能时的表现。他们衡量了超出仅凭各模型准确率所能预测的模型间一致程度。

开启推理功能后，模型间的一致程度提高，9个模型全都答错的人所占比例上升了2.0至2.4个百分点。对于引发最长推理轨迹的人，调整后的一致程度降至约0.31至0.39。

对于涉及人的决策，应检查你的模型组合中是否有模型能给出正确答案，因为更高的一致程度也可能意味着更多共同的错误。