Google DeepMind study: Training a model to argue moral dilemmas improves consistency, not judgmentMachine translation

谷歌 DeepMind 的一篇新论文发现，训练模型写出更好的道德论证会使它更果断，但不会提高它的道德判断能力。

人们越来越频繁地向大型语言模型寻求道德建议。当选项顺序改变后，模型仍坚持原来的答案，这通常被视为判断可靠的迹象。

他们使用强化学习训练 Gemma-4 4B，让它就取自经典小说的道德困境展开论证。模型将自己的论证两两比较并作出评判，胜出的论证决定奖励。

在含糊不清的 MoralChoice 案例中，交换选项后答案发生变化的比例从 14.3% 降至 6.6%。然而，模型附和用户的比例几乎没有变化，从 45.3% 变为 44.0%；它在道德寓言上的准确率则从 56.5% 降至 53.4%。

如果你评估模型在提供建议或作出判断的任务中的表现，应分别测试其一致性和正确性，因为表现更稳定的模型仍可能出错。