Jev 验证器成本低 187 倍，误批率却高于 GPT-6 Astra
This paper finds that a cheap verifier can match a frontier LLM's accuracy at checking RAG claims, while letting more unsupported claims slip through.
论文在 495 条人工标注 claim 上对比 Jev 与 GPT-6 Astra：Jev 准确率仅差 0.6 个百分点，成本低 187 倍，但对无证据支持 claim 的放行率达 23.2%，Astra 为 14.1%。Jev 先答、其余转 Astra 的级联虽降低账单，但随机把同等比例 claim 交给 Astra 也能省下相近成本。作者建议 RAG 产品选 claim 检查器时重点测误批率，而非只看总体准确率。
正文 · AI 翻译
本文发现，一个廉价的验证器在核查 RAG 主张时，其准确率可与前沿 LLM 相媲美，但会让更多缺乏支持的主张蒙混过关。
RAG 流水线不断在问证据是否支持某一主张，答案只是一个简单的“是”或“否”。大多数团队从文本生成 LLM 那里获取这个答案，并为此支付生成级别的价格。
他们测试了 Jev——它只返回一个标签和一个概率——与 GPT-6 Astra 在 495 条人工标注主张上的表现进行对比。他们还构建了一个级联流程：由 Jev 回答有把握的主张，其余则转交给 Astra。
Jev 的准确率与 Astra 相差在 0.6 个百分点以内，成本却低 187 倍，但它放行了 23.2% 的缺乏支持的主张，而 Astra 为 14.1%。该级联流程也削减了 Astra 的账单，但随机将同等比例的主张交给 Astra 也能省下大致相同的成本。
在为 RAG 产品选择主张检查器之前，应测量它放行缺乏支持主张的频率，因为总体准确率会掩盖这一点。