Cohere 论文发现细粒度 MoE 模型在单请求推理时也能受益于推测解码

@cohere 的一篇新论文发现，即使批量大小为 1，推测解码在细粒度 MoE 模型上也表现良好，而此前的研究预测收益很小。

论文发现，在混合专家模型中，相邻词元共享 20% 至 45% 的专家，而预期比例为 4% 至 12%；这使推测解码的成本低于预测。

推测解码让一个小型草稿模型提出词元，再由大模型在 1 次处理过程中验证。对于 MoE 模型，此前的研究认为，验证多个词元会加载许多额外的专家，从而限制小批量下的收益。

研究人员测试了 10 个参数量从 30B 到 1T 的 MoE 模型，并在 H100 GPU 上分析了它们的性能。连续词元会复用许多专家，而小型专家能高效利用 GPU 带宽，因此验证额外词元的成本很低。

相邻词元共享 20% 至 45% 的专家，而按独立路由计算的预期比例为 4% 至 12%。对于采用 FP8 的 Qwen3-235B，验证过程的运行速度达到正常解码步骤的 89%，而预测值为 52%。

对于批量较小的 MoE 模型服务场景，例如智能体工作负载，应在自己的硬件上对推测解码进行基准测试，而不是直接排除它。