面向多向量嵌入模型的 Token Pooling 感知训练
Token Pooling-Aware Training for Multi-Vector Embedding Models
Hugging Face 博客介绍 HierarchicalTokenPooling:用 Ward 层次聚类合并相似 token 向量,pool_factor=4 时文档约保留四分之一向量,200 个 128 维向量按 4-bit 残差量化从 12.8 KB 降至 3.2 KB。配套的 pooling-aware 训练对原始与压缩表示各算一次检索损失并取平均,用 straight-through estimator 回传梯度,让模型学会在池化后仍可检索。
正文 · AI 翻译
目录
校准自适应池化
可选的内核加速
使用训练好的模型
评估结果
组合压缩技术
参考文献
代码与模型
单向量嵌入模型将整个文档压缩为一个向量。而 ColBERT 等多向量模型则保留一组上下文 token 向量,使查询的不同部分能够匹配文档的不同部分。
例如,一个关于长续航笔记本电脑的查询,可以在文档的某一部分找到关于笔记本电脑的证据,在另一部分找到关于电池续航的证据。使用 MaxSim 评分时,每个查询向量选择其最佳匹配的文档向量,然后将这些分数相加:
MaxSim ( Q , D ) = ∑ q ∈ Q max d ∈ D q ⊤ d \operatorname{MaxSim}(Q, D) = \sum_{q \in Q} \max_{d \in D} q^\top d MaxSim ( Q , D ) = q ∈ Q ∑ d ∈ D max q ⊤ d
即使采用 Fast-PLAID 支持的 2-bit 或 4-bit 残差量化,每篇文档存储数百个向量也会累积成可观的体积。按每个残差坐标 4 bit 计算,200 个 128 维向量每篇文档需要 12.8 KB 的量化残差,一百万篇文档则需要 12.8 GB。在相同维度和精度下,将每篇文档池化到 50 个向量可将其降至 3.2 GB。
一个有用的观察是,许多文档向量可能彼此相似。多个 token 可能描述密切相关的概念,从而为将它们一起表示创造了机会。
Token 池化
HierarchicalTokenPooling 使用 Ward 层次聚类对相似的 token 嵌入进行分组。它从每个 token 向量一个组开始,反复合并那些使组内向量分散程度增加最小的两个组。这种分散程度以每个向量到其组均值的平方距离之和来衡量,因此 Ward 方法倾向于形成由相似向量组成的紧凑分组。
这些合并构建了一个逐级增大的组层次结构,让我们能够选择适合预算的压缩级别。然后我们用每组的均值来表示该组,并再次对得到的向量进行归一化,以便用于 MaxSim 评分。
你可以让压缩程度与文档长度成比例:
当 pool_factor=4 时,文档大约保留其原始向量的四分之一,因此较长的文档可以按比例保留更多容量。默认情况下,第一个 token 受到保护而不参与合并,并且池化仅应用于文档嵌入,查询嵌入保持不变。
选择池化预算
HierarchicalTokenPooling 提供三种替代控制方式:
当文档长度各不相同时,这一区别很重要。使用 pool_factor=4 时,较长的文档可以保留大约四分之一的向量,使其表示能够随内容增长。使用 distance_threshold 时,当需要保留更多不同的嵌入时,向量数量可以增长。
校准自适应池化
自适应池化使用共享的距离阈值,更积极地合并相似嵌入,同时为内容独特的文档保留更多向量。它可以与任何多向量模型一起使用,包括在没有池化感知目标的情况下训练的模型。
与其手动选择阈值,你可以针对目标平均向量数量对其进行校准。给定 calibration_documents 中具有代表性的语料样本:
校准只需要文档嵌入,并返回一个可在建立索引时复用的阈值。目标是平均值,因此单个文档可能获得多于或少于 16 个向量。在另一个语料上,实际达到的平均值也可能发生变化。
池化感知训练
池化在普通的多向量模型上已经可以发挥作用。困难出现在文档包含对检索很重要的区分,但合并其向量会使该区分更难恢复的时候。原始训练目标从未要求模型使用这些压缩表示。但是,你可以教它做到这一点。
如果你用过 Matryoshka 嵌入,这个训练原理会让人感到熟悉。Matryoshka 在多个嵌入宽度上应用检索目标,教会较小的前缀保持有用。池化感知训练则将目标应用于具有更少 token 向量的表示。
在我的示例中,每个训练批次贡献两个损失:
使用原始文档嵌入进行检索。
将文档压缩到大约其原始向量的四分之一后进行检索。
我对它们取平均:
L = 1 2 L u n p o o l e d + 1 2 L p o o l e d \mathcal{L} = \tfrac{1}{2}\mathcal{L}_{\mathrm{unpooled}} + \tfrac{1}{2}\mathcal{L}_{\mathrm{pooled}} L = 2 1 L unpooled + 2 1 L pooled
第一项教会模型使用其完整表示进行检索。第二项教会它安排其 token 嵌入,使有用的匹配在池化后仍能保留。两个目标更新同一个编码器,为它提供压缩前后检索的反馈。
Ward 聚类会对哪些 token 属于同一组做出离散决策。在训练过程中,HierarchicalTokenPooling 使用直通估计器将梯度从池化向量回传到其成员 token,而不对聚类分配进行微分。编码器随后可以从其池化表示所产生的检索错误中学习。
MultiVectorTokenPoolingLoss 封装现有的多向量检索损失,并使用你选择的池化器来应用它:
CachedMultiVectorMultipleNegativesRankingLoss 提供检索目标。它教会每个查询将其相关文档的得分排在批次中的负样本文档之上。默认情况下,它使用 model.similarity,采用模型的相似度设置(本例中为 MaxSim)和内核设置。配置了 similarity_fn_name="meanmaxsim" 的模型在训练期间也会使用 MeanMaxSim。
梯度缓存允许编码器处理小规模的小批次,同时保留更大规模的批内负样本。我的训练脚本使用 64 的小批次,训练批次大小为 256。
MultiVectorTokenPoolingLoss 添加压缩目标。这里,None 表示其中一个变体使用原始嵌入,而 pooling 提供因子为 4 的变体。两个权重对其损失取平均。池化变体复用已计算的 token 嵌入,因此每增加一个池化器都会增加聚类和评分工作,而无需为该变体单独进行一次编码器前向传播。
池化器也可以是自定义的 BaseTokenPooling 实现,只要它们在其输入嵌入上保留梯度即可。你可以根据想要部署的表示来调整训练目标。
将因子为 4 的池化器替换为你选择的部署配置,或者包含多个池化器并为其损失选择权重。
完整的训练脚本包括数据集、训练器、验证损失以及训练期间的小型检索评估。从仓库的检出目录中,使用 uv 在本地运行两个变体:
该脚本声明了其训练和内核依赖,因此 uv 会为你安装它们。兼容的内核会自动启用。
你也可以使用 Hugging Face Jobs 在云 GPU 上进行训练。安装 CLI 并使用一个可以运行 Jobs 和上传模型的 token 登录:
这会在 A10G GPU 上运行池化感知变体,时间限制为四小时。将 HF_TOKEN 作为 secret 传入,可以让脚本在训练完成时将训练好的模型上传到你的 Hub 账户。若要同时运行普通损失基线,请在脚本 URL 之后加上 --baseline 重复该命令。
可选的内核加速
你可以使用内核加速 MaxSim 评分、Ward 聚类以及受支持的骨干网络操作。安装训练和内核依赖:
在上面的训练示例中,在构造损失之前替换模型和池化器的初始化:
分层池化器默认继承模型的内核设置,因此你只需在模型上启用内核即可。
Sentence Transformers 会为你的设置选择兼容的内核,并在没有可用替代实现的地方使用现有实现。例如,默认的 MaxSim 内核在对查询与文档评分时不会在内存中构建完整的 token 相似度矩阵,但它确实需要 CUDA 和 Triton。
默认的 Ward 聚类内核通过在 CUDA 而非 CPU 上运行,显著加快了分层聚类的速度。根据设置不同,我们说的是比 SciPy 快 30-150 倍。
使用训练好的模型
让我们加载池化感知模型,并使用压缩后的文档嵌入进行检索。内核设置不会随模型保存,因此如果你希望在推理时也使用它们,请在加载时添加 use_kernels=True:
池化器在编码器的前向流水线之后压缩文档嵌入,将总数从 58 个向量减少到 16 个,同时保持查询嵌入不变。Mars 仍然获得最高的相似度分数,其次是 Jupiter 和 Venus,因此尽管存储的文档向量少得多,排名仍得以保留。
你可以在推理时更改 pool_factor,以使用同一个训练好的模型探索不同的存储预算。对于重复使用,你还可以在初始化 MultiVectorEncoder 时传入 token_pooling=pooling,使其成为运行时默认值。池化器的任务仍然控制哪些输入被压缩(例如仅文档)。
评估结果
为了进行研究,我从 answerdotai/ModernBERT-base 训练了两个模型,每个模型都带有全新的 128 维 token 投影:
tomaarsen/mve-ModernBERT-base-token-pooling-baseline,仅使用缓存对比损失。
tomaarsen/mve-ModernBERT-base-token-pooling,使用缓存对比损失并以上述未池化和因子为 4 的目标进行封装。
两次运行都在相同的 120,000 个 MS MARCO 三元组上训练一个 epoch,种子为 42,并使用匹配的初始化和优化设置。训练 token 上限为 300,短查询会扩展到至少 32 个 token 位置,以提供额外的上下文查询向量。两个实验之间只有损失不同,而且我没有进行超参数搜索。
我在 NanoBEIR@13 上评估了这两个模型,报告平均 nDCG@10(%)。该图比较了普通训练与池化感知训练在池化因子为 2、3、4 和 6 时的表现,并与未池化检索并列展示。表中还包含固定上限和自适应阈值,展示了训练带来的收益如何迁移到其他池化设置。
对于自适应池化,我为每个编码器和 NanoBEIR 语料库分别校准了一个阈值,使用其未池化的文档嵌入来匹配上限为 64、32 和 16 时的平均向量数量。短文档会使这些平均值低于各自的上限。
在训练后的 pool_factor=4 时,nDCG@10 从 49.03 提升到 51.23,同时存储的文档向量比未池化检索少 74.8%。这将分数保留率从 94.6% 提高到 97.8%,其中保留率是池化后的平均 nDCG@10 除以每个模型自身的未池化平均值。未池化检索也有所提升,从 51.84 提高到 52.39。
这些收益也延伸到固定上限和自适应池化,尽管训练只使用了完整表示和比例池化。在平均每文档 29.58 个向量的情况下,自适应池化保留了池化感知模型未池化分数的 97.3%,同时存储的文档向量少 84.7%。在相同预算下,正常训练的模型保留了 93.3%。
组合压缩技术
如果索引大小是你主要关心的问题,我会按以下顺序选择这些选项:
将嵌入量化到 4、2 或 1 比特,例如通过 Fast-PLAID,以减少每个坐标的存储。
Token 池化以减少文档向量数量,可选地配合本博客中展示的池化感知微调。
Matryoshka token 嵌入以降低每个 token 向量的维度,可选地通过微调在较小宽度下保持检索质量。
如果模型的默认维度大于 128,我也会更早考虑 Matryoshka 截断和微调。这些方法可以组合使用,因此请用你的搜索引擎和语料库评估所得的索引大小和检索质量。
MultiVectorMatryoshkaLoss 训练 token 嵌入在截断后仍保持有用。你可以将其与 MultiVectorTokenPoolingLoss 包装在一起,以同时针对更小的维度和更少的文档向量进行训练,并在各压缩设置之间复用编码器的嵌入。
尝试完整的训练示例,选择对你的应用重要的预算,并将其与匹配的普通损失运行进行比较。随附的评估脚本测量未池化检索、64、32、16、8 和 4 个向量的上限,以及 2 到 6 的池化因子,因此你可以为自己的模型绘制质量和存储的权衡曲线。
只需在训练目标中增加几行代码,更小的文档表示就成为模型主动学习使用的东西。这为让多向量检索更加实用开辟了令人兴奋的广阔空间!
参考文献
Stefan Josef. Learn to Pool: Lightweight Fine-Tuning for Flexible Multi-Vector Compression .
Benjamin Clavié, Antoine Chaffin, and Griffin Adams. Reducing the Footprint of Multi-Vector Retrieval with Minimal Performance Impact via Token Pooling .
Antoine Chaffin. After the party comes the free lunch: regularizing ColBERT models to enhance pooling capabilities and reduce index footprint .
Luyu Gao, Yunyi Zhang, Jiawei Han, and Jamie Callan. Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup .
Introduction to Matryoshka Embedding Models .
代码和模型
Token 池化感知训练示例和 README
完整训练脚本
NanoBEIR 评估脚本
示例检查点:tomaarsen/mve-ModernBERT-base-token-pooling
tomaarsen/mve-ModernBERT-base-token-pooling-baseline
与 Sentence Transformers 兼容的预训练多向量模型
面向多向量模型的 Matryoshka 感知训练
Fast-PLAID
本文提到的模型 2
tomaarsen/mve-ModernBERT-base-token-pooling
tomaarsen/mve-ModernBERT-base-token-pooling-baseline
本文提到的论文 2
本文提到的合集 1
MultiVectorEncoder 集成
来自我们博客的更多文章
本文提到的模型 2
tomaarsen/mve-ModernBERT-base-token-pooling
tomaarsen/mve-ModernBERT-base-token-pooling-baseline
本文提到的论文 2
本文提到的合集 1
MultiVectorEncoder 集成
AI 热点