Google 发布 EmbeddingGemma 2 论文，展示手机端多模态搜索模型

Google 发布了其 EmbeddingGemma 2 论文。

一款采用 Apache 2.0 许可证、用于设备端多模态 AI 的嵌入模型。

> 它将文本、代码、图像、音频和视频放入手机上的 1 个可搜索空间。它为手机补上了缺失的一环：无需将自己的内容发送到服务器，就能理解和搜索这些内容。

> 论文表明，一个拥有 744M 参数的开放模型可以为文本、图像、音频和视频生成嵌入表示，并胜过许多规模是其 2 至 12 倍的模型。

> 在 Pixel 11 Pro 上，量化后的文本权重占用约 191MB 活跃内存，完整多模态模型占用约 567MB。

> 上下文窗口扩大 4 倍，达到 8K 个 token，足以在 1 次输入中容纳约 5.5 分钟音频、29 张图像或 58 帧视频。

他们基于 Gemma 4 构建了 EmbeddingGemma 2，训练它模仿规模更大的 Gemini Embedding 2，然后通过对比训练进行调优。所有媒体类型共用 1 个向量空间，采用 4 位权重时，完整模型在 Pixel 11 Pro 上占用 567 MB。

直接为语音生成嵌入表示的效果优于先将其转写为文字：在 MSEB 口语查询检索基准测试中，得分分别为 69.54 和 57.59。代码搜索在 MTEB Code 上得分 78.68，高于 EmbeddingGemma 1 的 68.76。