Back Rohan Paul

Rohan Paul· @rohanpaul_ai · X· 2026-10-29 12:00 · Original publication time AI score54

Google releases EmbeddingGemma 2 paper on a multimodal search model for phonesMachine translation

Automatically verified and published · Generated and evidence-checked automatically; not reviewed by a human.

AI introduction

The paper describes EmbeddingGemma 2 mapping text, code, images, audio and video into one searchable space, enabling searches of personal content on a phone without sending it to a server. The 744M-parameter model uses about 567MB of RAM for the full multimodal version with 4-bit weights on a Pixel 11 Pro. On the MSEB spoken-query retrieval benchmark, embedding speech directly scored 69.54 versus 57.59 for transcribing it first.

Original post · AI translation

Rohan Paul@rohanpaul_ai

Translation · refer to the original

Google 发布了其 EmbeddingGemma 2 论文。

一款采用 Apache 2.0 许可证、用于设备端多模态 AI 的嵌入模型。

> 它将文本、代码、图像、音频和视频放入手机上的 1 个可搜索空间。它为手机补上了缺失的一环：无需将自己的内容发送到服务器，就能理解和搜索这些内容。

> 论文表明，一个拥有 744M 参数的开放模型可以为文本、图像、音频和视频生成嵌入表示，并胜过许多规模是其 2 至 12 倍的模型。

> 在 Pixel 11 Pro 上，量化后的文本权重占用约 191MB 活跃内存，完整多模态模型占用约 567MB。

> 上下文窗口扩大 4 倍，达到 8K 个 token，足以在 1 次输入中容纳约 5.5 分钟音频、29 张图像或 58 帧视频。

他们基于 Gemma 4 构建了 EmbeddingGemma 2，训练它模仿规模更大的 Gemini Embedding 2，然后通过对比训练进行调优。所有媒体类型共用 1 个向量空间，采用 4 位权重时，完整模型在 Pixel 11 Pro 上占用 567 MB。

直接为语音生成嵌入表示的效果优于先将其转写为文字：在 MSEB 口语查询检索基准测试中，得分分别为 69.54 和 57.59。代码搜索在 MTEB Code 上得分 78.68，高于 EmbeddingGemma 1 的 68.76。

12:00 · 2026-10-29 · UTC+8

Found an error? Send a correction