Amazon 论文发现：部分规则推理基准把正确答案判错

亚马逊一篇新论文发现，用于评测 AI 模型处理税务、法律和商业规则能力的基准测试，常常把正确答案判为错误，因为测试自身的答案键或评分代码存在错误。

RuleArena 和 LegalBench 等基准测试检验模型能否将成文规则应用于税务、法律和商业案例。如果参考答案或评分器有误，分数反映的就是基准测试中的错误，而不是模型的表现。

研究人员审查了 9 项公开基准测试：将参考答案追溯至规则原文，重新运行参考程序，并用预设答案测试评分器。随后，他们在每次修正后，对同一批已保存的模型回答重新评分。

LegalBench 的税务评分器删除了小数点，因此将 259,487.13 美元读成了 25,948,713。修正后，3 个模型各自在 96 个答案中获接受的数量，从 8 个或 9 个升至 87 到 91 个。

在相信规则遵循基准测试给出的低分之前，应阅读评分器代码，并手动核查几个被判错的答案。