SoMark 开源 1.3B 文档解析模型 OXR-1.0
SoMark open-sourced OXR-1.0, a 1.3B-parameter document parsing model that turns PDFs and page images into Markdown or JSON,
SoMark 开源了 1.3B 参数的文档解析模型 OXR-1.0,可将 PDF 和页面图像转成 Markdown 或 JSON,权重已发布在 Hugging Face,轻量测试可在单张 24GB GPU 上运行。该模型在 olmOCR-Bench、OmniDocBench 和 DocParsingBench 上排名第一,在单张 NVIDIA RTX PRO 6000 GPU 上解码速度 558 tokens/s,端到端解析 100 页约 101 秒。其训练后阶段采用递归自我改进(RSI)循环,由通用 VLM 判定解析结果并生成新标注页面,无需人工标注。
推荐理由
AI 评分 65
原文给出了 OXR-1.0 的架构拆分方式与 RSI 训练循环,读者可据此判断文档解析模型的工程取舍。
主题
正文 · AI 翻译
SoMark 开源了 OXR-1.0,这是一个 1.3B 参数的文档解析模型,可将 PDF 和页面图像转换为 Markdown 或 JSON,
> 它在 olmOCR-Bench、OmniDocBench 和 DocParsingBench 上排名第一,同时是 21 个受测模型中最快的。
> 可在单张 24GB GPU 上运行以进行轻量测试
其训练后阶段采用递归自我改进(RSI)循环,将模型自身的解析错误转化为新的训练数据,无需人工标注,这在文档解析领域尚属首次。
解析一个页面意味着找到每一个块(标题、段落、表格、公式),读取每一个块,并按人类阅读顺序排列它们。
大多数解析器将版面检测与识别或阅读顺序绑定在一起,这使得版面难以针对新类型的文档重新调整。
OXR 将其拆分出来:一个小型版面模型为每个块画出边界框,1.3B 的 OXR 模型读取每个框并设定阅读顺序,因此团队可以换入自己的版面模型而保留其余部分。
它输出 13 种元素类型及页面坐标,包括表格、以 LaTeX 表示的数学公式(科学家用于公式的文本格式)、代码块、印章和化学结构。
在 RSI 循环中,OXR 对每个训练页面进行多次解析,一个通用视觉语言模型(VLM)将结果标记为正确、错误或不确定(即 OXR 自身的多次运行结果不一致)。
随后 VLM 为每个失败写出原因,这些原因被分组为相同弱点的聚类。
对于每个聚类,VLM 生成新的标注页面,每次都以不同的真实文档为风格参照,OXR 在这些页面上训练后再进入下一轮。
> 在单张 NVIDIA RTX PRO 6000 GPU 上,它每秒解码 558 个 token,端到端解析 100 页约需 101 秒,是 GLM-OCR 页面吞吐量的 3.05 倍,比第二快的模型 OvisOCR2 领先 33.5%。
> 权重已发布在 Hugging Face 上,可在单张 24GB GPU 上运行以进行轻量测试,免费 API 无需账户或密钥即可使用。
在 olmOCR-Bench(0.24 分)和 OmniDocBench(0.27 分)上,准确率领先幅度较小,但 OXR 在达到这一水平的同时,解析页面的速度比 olmOCR-Bench 第二名 Infinity-Parser2-Pro 快约 64 倍。
RSI 循环的作用是自动搜寻模型最难的案例,由一个通用 VLM 同时充当评判者和标注撰写者,因此该循环只能修复 VLM 能够发现的错误。