先了解这件事
AI 综述
Chroma Research 提出一种面向真实 RAG 场景的生成式检索基准方法。该方法先用对齐的 LLM judge 结合用户上下文筛选文档,再依据上下文和示例查询生成查询,用于评估 RAG 检索系统。据 Chroma Research 介绍,该方法针对 MTEB、BEIR 等公开基准的缺陷:数据集通用、数据过于干净、模型训练时已见过基准。Chroma 在 Weights and Biases 的真实生产用例上验证,生成查询得到的模型性能指标与真实查询接近,并能反映 MTEB 未能体现的性能差异。目前尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
Chroma 提出生成式基准测试：用用户文档生成查询评估 RAG 检索事件进展
1 个已确认进展
- 来源：Chroma Research
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月9日
Chroma Research一手
Chroma 提出生成式基准测试：用用户文档生成查询评估 RAG 检索
Chroma Research 提出生成式基准测试方法，先用对齐的 LLM judge 结合用户上下文筛选文档，再依据上下文和示例查询生成查询，以评估 RAG 检索系统。该方法针对 MTEB、BEIR 等公开基准的缺陷：数据集通用、数据过于干净、模型训练时已见过基准。Chroma 在 Weights and Biases 的真实生产用例上验证，生成查询得到的模型性能指标与真实查询接近，并能反映 MTEB 未能体现的性能差异。