Google 发布 EmbeddingGemma 2 论文，744M 参数端侧多模态嵌入模型
Google released its EmbeddingGemma 2 paper.
Google 发布 EmbeddingGemma 2 论文，这是一个 Apache 2.0 许可的端侧多模态嵌入模型，把文本、代码、图像、音频和视频映射到同一向量空间。模型基于 Gemma 4 构建，通过向更大的 Gemini Embedding 2 学习并用对比训练调优，744M 参数规模在多项任务上超过大 2 至 12 倍的模型。在 Pixel 11 Pro 上，量化后的文本权重占用约 191MB 活跃内存，完整多模态模型约 567MB，上下文窗口扩大 4 倍至 8K tokens，可容纳约 5.5 分钟音频、29 张图像或 58 帧视频；直接嵌入语音在 MSEB 口语查询检索基准上得分 69.54，高于先转写再检索的 57.59，代码检索在 MTEB Code 上从 EmbeddingGemma 1 的 68.76 提升到 78.68。
推荐理由
AI 评分 62
744M 参数的开源嵌入模型把文本、图像、音频、视频放进同一向量空间，并给出手机端内存占用与检索基准对比。
主题
正文 · AI 翻译
Google 发布了 EmbeddingGemma 2 论文。
这是一个用于端侧多模态 AI 的嵌入模型，采用 Apache 2.0 许可。
> 它在手机上把文本、代码、图像、音频和视频放入同一个可搜索空间。为手机补上了缺失的一环：一种无需把数据发送到服务器，就能理解和搜索你自己内容的方式。
> 它表明，一个 744M 参数的开源模型可以嵌入文本、图像、音频和视频，并击败许多规模大 2 到 12 倍的模型。
> 在 Pixel 11 Pro 上，量化后的文本权重占用约 191MB 活跃内存，完整多模态模型占用约 567MB。
> 上下文窗口扩大 4 倍至 8K tokens，足以在单次输入中容纳约 5.5 分钟音频、29 张图像或 58 帧视频。
他们在 Gemma 4 上构建了 EmbeddingGemma 2，训练它模仿更大的 Gemini Embedding 2，然后用对比训练进行调优。所有媒体类型共享同一个向量空间，完整模型以 4-bit 权重在 Pixel 11 Pro 上仅占 567 MB。
直接嵌入语音优于先转写再检索，在 MSEB 口语查询检索基准上得分为 69.54 对 57.59。代码检索在 MTEB Code 上得分为 78.68，高于 EmbeddingGemma 1 的 68.76。