斯坦福新论文质疑用单一分数比较分词器

斯坦福一篇新论文发现，没有任何指标能在所有意义上都不受分词器影响，因此比较分词器的人不应只相信单一分数，还应检查模型是否正确作答。

为了比较使用不同分词器的模型，研究人员通常报告每字节比特数（BPB），即按字节而非词元计算损失。许多论文称它不受分词器影响。

他们给未经训练、均匀随机猜测的模型，以及采用相同训练方案但使用不同分词器的已发布模型打分。他们还重新检验了一项已发表的说法：另一种据称不受分词器影响的指标与 BPB 一致。

即使模型什么也没学到，其 BPB 仍因分词器而异；对于英语文本，词表规模接近 24K 时得分最佳，但准确率仍停留在随机猜测水平。对于使用不同分词器训练的模型，BPB 与任务得分之间的相关系数仅介于 +0.02 和 −0.30 之间。

比较分词器时，不要把较低的 BPB 当作模型更好的证明；选择词表前，还应在相同文本上检查任务准确率。