UC Berkeley 开源 LEANN 向量索引：60M 分块 RAG 索引从 201 GB 降至 6 GB

将我们添加为 Google 首选来源

加州大学伯克利分校的 Sky Computing Lab 构建了 LEANN，这是一个几乎不存储任何嵌入向量的开源向量索引。LEANN 向量索引在查询时重新计算嵌入向量，而不是将它们保存到磁盘。仓库基准显示，一个 6000 万条分块的 Wikipedia 索引从 201 GB 降至 6 GB。该研究论文荣获 MLSys 2026 最佳研究论文奖。因此，它让语义搜索和 RAG 能够在笔记本电脑上处理个人数据。

TL;DR

大小：6000 万条分块为 6 GB（仓库）；在论文的 76 GB Wikipedia 设置中为 4 GB。默认嵌入器：Contriever（1.1 亿参数）。它是一个索引，不是 LLM，因此不适用上下文长度。

运行于：笔记本电脑和工作站。论文测试了一台配备 32 GB RAM 的 RTX 4090 机器和一台 M1 Ultra Mac。存在仅 CPU 的 Linux 安装版本，但没有公布 CPU 延迟。

性能：在 90% 召回率下，下游准确率与 HNSW 持平，仅使用不到 5% 的原始数据存储。

最佳：NQ 准确率 25.5%，与 HNSW 相同，使用 4 GB 而非 188 GB。

最差：在 Mac 上 HotpotQA 检索耗时 44.80 秒，占整个流水线时间的 50.1%。

什么是 LEANN？

LEANN 是构建在 FAISS 之上的低存储近似最近邻（ANN）索引。它针对一个问题：向量索引往往比它们所索引的数据更大。研究论文显示，一个 76 GB 的语料库需要 173 GB 的嵌入向量外加 15 GB 的 HNSW 图。这使原始数据增加了一倍多。

TEXTTABLELAYOUT你的 PDF 解析器真的解析正确了吗？omni_parse_bench · 对文本、表格和布局评分 · 开源在 GitHub 上加星→赞助

LEANN 保留一个剪枝后的图，丢弃完整向量，并按需重建它们。代码采用 MIT 许可，可通过 uv pip install leann 安装。

LEANN 如何在不阻塞搜索的情况下重新计算嵌入向量？

像 HNSW 这样的图索引每次查询只访问少量节点。LEANN 利用了这一点。它存储图以及一个紧凑的乘积量化（PQ）表。在查询时，它只重新嵌入搜索路径上的节点。

3 项技术使这变得实用：

两级搜索：先用廉价的 PQ 距离对邻居排序。只有排名靠前的候选者才会进行精确重算。

动态批处理：将来自多个跳数的候选者分组，例如一次 64 个，以提高 GPU 效率。

高度数保留剪枝：大多数节点保留少量边，而排名前 2% 的“枢纽”节点保留更多边。

在消融实验中，两级搜索平均带来 1.4 倍加速。加入批处理后提升至 1.8 倍。嵌入重算仍占查询延迟的约 76%。

LEANN 在基准测试中表现如何？

研究团队针对 6000 万段落的 RPJ-Wiki 数据存储测试了 NQ、TriviaQA、GPQA 和 HotpotQA。延迟在 90% Recall@3 下测量。以下所有数据均为研究论文中的自报数据。

在 NQ 上，使用 RTX 4090 上的 Qwen3-4B，LEANN 和 HNSW 均达到 25.5% 的下游准确率。LEANN 使用 4 GB 存储。HNSW 使用 188 GB。BM25 得分为 18.3%，PQ 压缩得分为 17.9%。

代价是搜索时间。LEANN 在 NQ 上的检索耗时 2.48 秒，而 HNSW 为 0.05 秒。生成耗时约 20 秒，因此端到端延迟从 20.95 秒升至 23.34 秒。

在 RTX 4090 上的各数据集中，LEANN 检索耗时从 1.12 秒（GPQA）到 7.12 秒（HotpotQA）不等。受 EdgeRAG 启发的基于 IVF 的重算基线最多慢 200 倍。LEANN 相比 BM25 将精确匹配率最多提升 11.8%。

GitHub 仓库报告在个人数据上也有类似的节省。40 万条聊天消息从 1.8 GB 缩减至 64 MB。3.8 万条浏览器记录从 130 MB 缩减至 6.4 MB。

LEANN 与其他向量索引对比

方法剪枝图，按需重算图加所有向量驻留内存图与向量存于 SSD，PQ 驻留内存IVF 聚类，按需重算压缩向量加图

存储，76 GB 语料库4 GB188 GB270 GB低于原始数据的 5%20 GB

90% 召回率下的 NQ 检索（RTX 4090）2.48 秒0.05 秒0.03 秒307.61 秒无法达到 90%

90% 召回率下的 HotpotQA 检索（RTX 4090）7.12 秒0.05 秒0.11 秒429.46 秒无法达到 90%

NQ 下游准确率（Qwen3-4B）25.5%25.5%未披露未披露17.9%

许可MITMITMIT未披露因实现而异

存储、延迟和准确率数据来自 LEANN 论文 v2 的表 1、表 2 和第 7.2 节（自报数据）。许可和设计行链接到各项目自身的源代码。

开发者可以在哪里使用 LEANN？

该仓库提供了适用于文档、Apple Mail、Chrome 历史记录、微信、iMessage 以及 ChatGPT 或 Claude 导出数据的现成应用。MCP 读取器从 Slack 和 Twitter 书签拉取实时数据。LEANN 还可作为 Claude Code 的语义搜索 MCP 服务器运行。

在 ContextBench 的 30 个 SWE-Bench Pro 任务上，团队报告初始相关代码召回率为 24.2%，而 BM25 为 11.4%。该智能体还少用了 8.4% 的 token。

HNSW 是默认后端，DiskANN 用于更快的搜索。生成可与 Ollama、Hugging Face、Anthropic 或任何 OpenAI 兼容 API 配合使用。它支持 Ubuntu、Arch、WSL、macOS 和 Windows。某些应用（如 Apple Mail 搜索）仅限 macOS。

关键要点

LEANN 存储剪枝图并在查询时重新计算嵌入向量。

6000 万条分块：在仓库基准中从 201 GB 降至 6 GB。

在 90% 召回率下与 HNSW 准确率持平（NQ 上为 25.5%）。

搜索耗时数秒：NQ 上为 2.48 秒，而 HNSW 为 0.05 秒。

MIT 许可，且为 MLSys 2026 最佳研究论文。

Asif Razzaq网站 | + 文章作者简介 ⮌

Asif RazzaqNace AI 发布面向 AI 智能体搜索的 Drex：在 BrowseComp-Plus 上以 12.6 次搜索调用达到 92.05%

$uv pip install omni-parse-bench✓文本✓表格✓布局→ 按页评分在 GitHub 上加星→赞助

UC Berkeley 开源 LEANN 向量索引：60M 分块 RAG 索引从 201 GB 降至 6 GB

推荐理由

主题

标签

正文 · AI 翻译