Meta 与 MIT 研究发现，循环复用模型层可改善固定规模下的表现

Meta 和 MIT 的一篇新论文发现，在循环中重复使用 Transformer 的层，效果可以超过普通模型。

循环运行让相同的层执行多次，使模型无需增加参数就能获得更大的深度。但每次循环都会消耗算力，而且通常必须针对每个词元依次运行。

他们训练了参数量最高达 10 亿、训练数据最多达 1550 亿个词元的稠密模型，测试了在哪些位置循环以及循环多少次。他们还添加了微型的逐循环适配器，并修正了一种并行循环方法，使多个循环能在解码时同时运行。

在模型大小固定时，循环运行整个层堆栈带来了最佳质量；而在训练算力紧张时，循环运行中间层的收益最高。逐循环适配器只增加了 1.1% 至 4.3% 的参数，而将深度翻倍会增加 51.4%；随着循环次数增加，适配器带来的帮助也更大。