先了解这件事
AI 综述
2025年6月5日,Answer.AI 发布 ReadBench,用于评测视觉语言模型(VLM)从文本图像中读取并推理信息的能力。该基准将 MMLU-Redux、MMLU-Pro、GPQA-Diamond、BABILong 和 LongBench 等文本基准的上下文转为图片,问题保留为文本。结果显示,几乎所有 VLM 在多模态输入下都出现性能下降:短于 1 页的输入下降较小,长输入下降非常显著,说明多页文档直接送入 Visual RAG 管线尚不可行。相关数据已发布于 HuggingFace,代码在 GitHub,论文在 arXiv。目前尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
Answer.AI 发布 ReadBench：评测视觉语言模型的文本阅读能力事件进展
1 个已确认进展
- 来源：Answer.AI 官方研发博客
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
6月5日
Answer.AI 官方研发博客一手
Answer.AI 发布 ReadBench：评测视觉语言模型的文本阅读能力
Answer.AI 推出 ReadBench，将 MMLU-Redux、MMLU-Pro、GPQA-Diamond、BABILong 和 LongBench 等文本基准的上下文转为图片、问题保留文本，以评测 VLM 从文本图像中读取和推理信息的能力。结果显示几乎所有 VLM 在多模态输入下都出现性能下降，短于 1 页的输入下降较小，长输入下降非常显著，说明多页文档直接送入 Visual RAG 管线尚不可行。数据已发布于 HuggingFace，代码在 GitHub，论文在 arXiv。