腾讯论文提出按神经元贡献压缩混合专家模型

腾讯一篇新论文显示，混合专家模型中的领域技能（如数学或编程）分散在各个专家的神经元中。

因此，剪除贡献较小的神经元，而不是整个专家，可以在缩小模型的同时保留大部分技能。

在他们的实验中，混合专家 AI 模型剪除专家中作用最小的 25% 神经元后，仍保留了原有性能的 91% 至 98%。

MoE 模型会将每个词元发送给少数几个专家，这似乎表明每个专家负责数学或编程等一个领域。但其他研究发现，路由主要追踪的是词元类型。

他们用一种名为 RAMP 的指标，为每个神经元经路由后的贡献评分。针对同一领域的不同样本选出的神经元，重合比例为 58% 至 74%；不同领域之间则为 15% 至 24%。这些神经元分布在混合承担不同领域任务的专家中。

RAMPr 根据这些评分在所有专家中剪除神经元。在 6 个模型中，保留 75% 的神经元后，原有性能仍保留了 91% 至 98%。保留 50% 的神经元时，GPU 内存占用下降了 36% 至 43%，批量预填充吞吐量提高了 17% 至 39%。

如果要压缩 MoE 模型，应依据专家内部神经元经路由后的贡献来剪除神经元，而不是把每个专家视为一个整体。