Cohere 发布 Rerank 5:支持段落级 Context Focus 与校准分数
Cohere Releases Rerank 5 With Passage-Level Context Focus and Calibrated Scores - MarkTechPost
Cohere 发布 Rerank 5 重排序模型,分 Pro 和 Fast 两档,均支持 32K 上下文窗口和 100 多种语言,升级无需重建索引。新增的 Context Focus 可在一次调用中返回文档内相关段落及字符偏移,搜索智能体测试中配合默认 0.1 阈值使每任务 token 减少 19%、准确率从 46% 升至 57%。Pro 在 BRIGHT 上得分 82.2,比 Voyage AI Rerank 3 高 5.8 分,API 价格为每 100 万 token 0.05 美元,Fast 为 0.02 美元。
正文 · AI 翻译
将 Google 添加为首选来源
Cohere AI 发布了 Rerank 5,这是一个新的重排序模型系列,分为 Pro 和 Fast 两档。Cohere Rerank 5 是一个检索模型,在搜索结果到达 LLM 之前对其进行重新排序。它新增了 2 项开发者功能:Context Focus,可在每个文档内返回相关段落;以及校准后的相关性分数。对于 RAG 和智能体构建者来说,信息很简单:向 LLM 发送更少、更好的 token。
TL;DR
规模:未披露参数数量。32K token 上下文窗口。两个档位:rerank-v5.0-pro 和 rerank-v5.0-fast。
运行平台:托管 API、Model Vault、Microsoft Foundry、Amazon SageMaker,或私有 VPC 和本地部署。Cohere 在单块 NVIDIA A100 上对速度进行了基准测试。没有开放权重或量化版本。
性能:在 Cohere 自己的评估中,Pro 在 46 个复合数据集中的 39 个上排名第一。
最佳:Pro 在 BRIGHT(RCP-nDCG@10)上得分为 82.2,比 Voyage AI Rerank 3 高 5.8 分。
最差:Pro 在每次 96 文档请求中的中位延迟为 11.7 秒,而 Fast 为 4.1 秒。
Cohere Rerank 5 有什么新功能?
Rerank 5 以两个模型形式发布。Pro 针对推理密集型查询和长篇、领域特定文档的排序质量。Fast 针对运行大量搜索的智能体的低延迟和高吞吐量。
开源 OmniParseBench · 由 Datalab 提供 · Apache 2.0
对任何文档解析器在表格、数学、表单和手写内容上进行基准测试。按页面进行是/否测试,覆盖文本、表格和布局类别。在 Hugging Face 数据集或你自己的 PDF 上使用 score 和 predict 原语对供应商解析器进行评分。
★ 在 GitHub 上加星 多列、旋转文本、退化扫描件 · 按文字系统和语言标记
github.com/datalab-to/omni_parse_bench Fork 它 · 添加你的解析器
两个模型均支持 100 多种语言和 32K 上下文窗口。它们还可以对 JSON、表格和 YAML 记录等半结构化数据进行重排序。升级无需重新建立索引。开发者只需更改模型参数,并保留现有的关键词、向量或混合搜索。
Context Focus 如何工作?
Context Focus 是一个可选功能,默认关闭。单次 Rerank 调用会返回文档分数以及带分数的字符跨度。每个跨度都带有指向原始文本的起始和结束偏移量。开发者通过 relevant_spans 字段设置它,并指定阈值和 max_spans 值。
Cohere 在 30 个 QA 数据集上进行了测试。移除一半检索文本后,答案质量保留了 96%。移除四分之三后保留了 87%。Cohere 表示,团队可以在付出一定质量代价的情况下将上下文减少到 10 倍。
在一项覆盖 17 个数据集的搜索智能体测试中,仅使用 BM25 的准确率为 46%。加入 Rerank 5 Pro 后提升至 49%。在默认 0.1 阈值下,Context Focus 将每任务 token 减少了 19%,并达到 57%。在 0.4 阈值下,token 减少了 34%,准确率达到 58%。与仅使用 BM25 相比,完整技术栈使用的 token 减少了 35%。在 6 个深度搜索基准测试中,token 减少了 41%,准确率从 39% 升至 52%。
校准后的相关性分数改变了什么?
Rerank 5 的分数可理解为概率。0.7 的分数意味着该文档有 70% 的概率有用。
Cohere 团队针对盲评人工评分员和 NIST TREC-DL 评估员测量了期望校准误差(ECE)。Rerank 5 在两者上的得分约为 0.06。Voyage AI Rerank 3 的得分为 0.234 和 0.307。Rerank 4 Pro 的得分为 0.384 和 0.309。在实践中,开发团队可以按阈值过滤,而不是使用固定的 top-k。智能体还可以检测到没有返回相关内容的情况。
Rerank 5 在基准测试中表现如何?
以下所有分数均由 Cohere 使用 RCP-nDCG@10 自行报告,这是 Cohere 开发的 nDCG 变体。Cohere 自行运行了竞争对手模型。
Pro 在全部四个主要基准测试中领先。它在 ViDoRe V3 上得分为 92.2,在 BEIR 上为 90.4,在 BRIGHT 上为 82.2,在 nanoMTEB 上为 87.3。BRIGHT 显示出最大跃升:比 Rerank 4 Pro 高 12.4 分。
Fast 在全部 4 项上击败 Voyage AI Rerank 3 Lite、Qwen3-Reranker-8B 和 Rerank 4 Pro。它在 ViDoRe V3 上与 Voyage AI Rerank 3 持平,为 90.6。它在 BEIR 上落后于后者,为 88.1 对 88.6。
在解析后的 PDF 上,对 47 个数据集取平均,Pro 得分为 89.9,Fast 为 88.5。Voyage AI Rerank 3 得分为 88.4。在 Cohere 的内部测试套件中,Pro 在 19 种非英语语言中的 14 种上排名第一。
Rerank 5 与竞争重排序模型相比如何?
参数未披露未披露未披露未披露8B
上下文窗口32K32K32,00032,00032K
语言100+100+未披露未披露100+
许可 / 访问专有 API、VPC、本地部署专有 API、VPC、本地部署专有 API专有 APIApache 2.0 开放权重
API 价格(每 100 万 token)$0.05$0.02$0.05$0.02自托管
段落提取Context FocusContext Focus未披露未披露未披露
BRIGHT*82.277.576.469.469.8
ViDoRe V3*92.290.690.687.985.1
BEIR*90.488.188.686.183.8
nanoMTEB*87.385.183.980.782.1
ECE,人工评分员*(越低越好)0.0580.0580.2340.226未披露
*分数为 Cohere 的 Rerank 5 博文中由 Cohere 测量的 RCP-nDCG@10 或 ECE。未经独立验证。
开发者如何部署 Rerank 5?
Rerank 5 已在 Cohere API 和 Model Vault 上全面可用。它也可在 Microsoft Foundry(Pro、Fast)和 Amazon SageMaker(Pro、Fast)上运行。它还向所有 North 用户开放。API 价格为 Pro 每 100 万 token 0.05 美元,Fast 为 0.02 美元。Model Vault 在其 Medium 档位对两个档位均标价为每实例小时 4.00 美元。
根据 Cohere 的集成文档,集成对象包括 LangChain、Haystack、Elasticsearch 和 Weaviate。
要点
Rerank 5 提供 Pro(每 100 万 token 0.05 美元)和 Fast(每 100 万 token 0.02 美元)两档,均支持 32K 上下文。
Pro 在 BRIGHT 上得分 82.2,比 Voyage AI Rerank 3 高 5.8 分。
Context Focus 可在一次调用中返回带分数的段落,使智能体 token 减少 35% 至 41%。
校准分数达到约 0.06 ECE,因此单一阈值可跨领域通用。
所有基准均为 Cohere 在其 RCP-nDCG@10 指标上自行报告。
Michal Sutter+ 发布简介 ⮌
Michal Sutter 是一名数据科学专业人士,拥有帕多瓦大学数据科学理学硕士学位。凭借在统计分析、机器学习和数据工程方面的扎实基础,Michal 擅长将复杂数据集转化为可执行的洞察。
Michal SutterExa 3.0 搜索 API 在 8 项基准上超越 Perplexity、Brave 和 Parallel
Michal Sutter认识 Drex Max:Nace AI 面向计算机使用智能体的多模态决策模型,得分 67.59
相关文章更多来自作者
IBM AI 发布 Granite Speech 5.0 2B,用于多语言转录和翻译
Cactus Whistle 编码指南:一个 16.9 MB 的语音模型能否与 Whisper Base 抗衡?词错误率、速度、流式处理、时间戳、关键词……
Recursive 发布 Flint,一个面向智能体的开放权重 40B MoE 本地编码模型,激活参数 2.5B