Answer.AI 发布 ReadBench:评测视觉语言模型的文本阅读能力
Answer.AI 推出 ReadBench,将 MMLU-Redux、MMLU-Pro、GPQA-Diamond、BABILong 和 LongBench 等文本基准的上下文转为图片、问题保留文本,以评测 VLM 从文本图像中读取和推理信息的能力。结果显示几乎所有 VLM 在多模态输入下都出现性能下降,短于 1 页的输入下降较小,长输入下降非常显著,说明多页文档直接送入 Visual RAG 管线尚不可行。数据已发布于 HuggingFace,代码在 GitHub,论文在 arXiv。

匹配字段摘要、正文