Article · Original
高通在第九届进博会展出端侧MoE智能体
终端侧AI发展到了什么阶段？
终端侧AI经过过去3至4年的发展，正在迎来一个比较重要的变化节点。
从应用来看，终端侧AI并不是从大模型开始的。影像其实是AI较早在终端落地的领域之一。近年来手机拍照效果不断提升，背后就有终端侧AI技术的推动。如今，终端侧AI已经进一步拓展到简单问答、聊天、图像生成与处理，以及文本处理、语音转录、实时翻译等多模态应用，其中不少功能在端侧落地的条件已经比较成熟。
不过，目前很多端侧AI应用仍然偏向单点功能。例如自动语音识别（ASR）、文本摘要、图片处理、简单聊天机器人等，大多解决的是一个具体任务。如果未来希望终端能够进一步完成意图理解、任务编排、实时操作目标App等系统级、规划类任务，就需要更强的端侧模型能力。
这意味着，终端侧AI正在逐渐从解决一个个具体任务，向更加复杂的智能体体验演进。
为什么需要终端侧AI？端侧和云端是什么关系？
高通并不强调端侧的唯一性，而是强调端云协同或者“计算连续体”，其中一个重要思路是“端侧优先”（on-device first）。
传统依赖云端的AI服务，每一次推理都需要消耗云端Token、GPU以及云端调度资源，同时依赖网络连接。如果将合适的AI能力部署到端侧，则可以减少对网络的依赖，提供更加及时和稳定的响应，同时发挥终端在安全、隐私和个性化方面的优势。
如果用一个比较直观的比喻来理解：云端更像一个“通用知识库”，端侧则拥有更多属于用户个人的“专业化知识”。
端侧可以结合用户是谁、在哪里、过去做过什么，以及当前所处的环境，对用户接下来可能需要的服务作出判断，这也是“主动式AI服务”的基础。
因此，端侧并不是孤立的体系。云端可以承接需要更强智能和计算能力的任务，端侧则能够发挥实时、稳定、隐私以及个性化等优势，二者相互协同。
为什么MoE成为终端侧AI的重要技术方向？
MoE全称为Mixture of Experts，即混合专家模型。理解MoE，可以先把它和传统Dense模型进行比较。
以一个30亿参数的Dense模型为例，每完成一次推理，30亿参数都需要运行一遍，才能得到最终输出。
MoE的工作方式有所不同。它将模型中的参数划分为多个不同的“专家”模块，每个专家模块负责其中一部分，而且可能擅长不同的任务。当模型处理某个具体任务时，只需要调用与这个任务相关的部分专家模块。
比如，一个MoE模型包含20个专家模块，执行某个任务时，可能只需要调用其中2至3个专家模块，而不是让全部20个专家模块同时运行。
一个很直观的“厨师”比喻：Dense模型就像家里只有一个厨师，无论想吃什么菜，都由这个厨师来做。他可能会很多菜系，但每一种都未必最擅长。MoE则像同时有多位擅长不同菜系的厨师，有的擅长鲁菜，有的擅长京菜，有的擅长淮扬菜。当你想吃淮扬菜时，只需要让擅长淮扬菜的厨师工作，其他厨师可以休息。
也就是说，模型虽然拥有很多“专家” 模块，真正执行一次任务时，只需要让其中一部分参与计算。这种机制可以减少一次推理需要实际运行的参数量，提高模型运行效率。
MoE为什么对终端侧AI尤其重要？
MoE在云端大模型中已经得到应用。随着端侧AI发展，越来越多的端侧模型也开始采用MoE方案。
这一技术对于终端尤其重要，因为手机、PC等设备受到内存和功耗等条件限制。
目前主流做法通常只能在端侧运行20亿至30亿参数规模的模型。这一规模已经可以很好地完成ASR、文本摘要、图片处理、简单聊天等单点任务，但如果希望完成系统级、规划类的复杂任务，模型的智能能力仍然面临一定限制。
现阶段采用20亿、30亿或40亿参数规模的模型，并不是完全无法运行这些复杂任务，但是完成度和准确度仍有提升空间，可能达到60%、70%或80%的水平。借助MoE，则有机会进一步提升端侧模型的智能水平以及复杂任务的完成度和准确度。
这也是MoE对于终端侧AI的一个重要意义：在终端有限的内存、功耗等条件下，为部署和运行更高智能水平的模型提供新的技术路径。
随着相关技术进一步发展，目前现场展示的意图理解、任务编排、实时操作目标App等能力，未来有望进一步应用到手机、汽车、PC等不同终端。
高通在进博会现场的端侧MoE智能体演示展示了什么？
MoE模型包含多个专家模块，因此模型总体体量较大。在端侧真正运行起来，除了模型自身的智能水平，还需要解决两个非常实际的问题：如何根据当前任务，提前预测接下来需要调用哪些专家模块；预测完成后，如何快速从存储中调用这些专家模块，并让它们及时参与计算。
在大模型推理过程中，DDR带宽往往是一个重要瓶颈。如果能够提前判断下一步需要哪些专家模块，并将这些专家模块预取到合适的位置，就能够减少等待时间，提高模型运行效率。
高通在第九届进博会展出的端侧MoE智能体演示，正是围绕这些问题进行探索，由高通与Infris AI、江波龙、阶跃星辰共同合作完成。围绕端侧MoE模型的高效运行，各方从模型、推理、存储和芯片平台等不同环节协同优化：阶跃星辰重点提升模型的智能能力；Infris AI通过推理方案，对所需专家模块进行提前预测和预取；江波龙优化专家模块从通用闪存存储（UFS）到内存的加载效率，使其能够更快被激活；高通则围绕芯片平台和软件栈，与合作伙伴共同优化专家模块路由、专家模块预测和缓存预测等环节，从而提升MoE模型在端侧的整体运行效率。因此，这一演示展示的不只是一个模型，而是围绕模型、推理、存储、芯片平台进行的系统性优化，也体现了终端侧AI从单点技术创新走向产业协同。
终端侧AI为什么越来越需要生态协作？
随着AI和大模型发展，高通与产业上下游合作的重点也在发生变化。目标不只是把模型“搬”到终端，而是让模型在端侧运行得更好，并进一步将这些能力集成到手机、PC、眼镜、汽车等不同终端设备中。
在终端侧AI生态中，不同伙伴扮演着不同角色：模型厂商提供“智能”，高通与模型厂商合作，通过模型量化，并结合芯片技术和软件栈进行优化，让模型更小、推理更快，推动合作从“模型+芯片”进一步走向“模型for芯片”或“芯片for模型”；终端厂商掌握用户“入口”，拥有设备、操作系统和智能体能力，同时终端承载着大量个人和个性化数据，需要将芯片能力与模型智能整合起来，转化为用户可感知的AI体验；开发者负责将AI能力带到更多App和场景，把芯片、模型以及操作系统的能力和权限融入具体应用，并通过丰富的应用生态解决AI应用的“长尾效应”；高通则提供终端AI能力底座，持续增强NPU等AI处理能力，并通过骁龙平台、全栈AI软件和开发工具，与模型厂商、终端厂商和开发者协作，推动AI能力在更多终端和应用中落地。
此次进博会的MoE智能体Demo也是这一生态合作模式的具体体现：从模型、推理方案、存储到芯片平台，不同伙伴分别解决不同环节的问题，共同推动更复杂的AI能力在终端侧运行。
本文由高通提供，量子位获授权转载，观点归原作者所有。