原帖引用 · AI 翻译
SoMark 开源了 OXR-1.0,这是一款拥有 13 亿参数的文档解析模型,可将 PDF 和页面图像转换为 Markdown 或 JSON,
> 它在 olmOCR-Bench、OmniDocBench 和 DocParsingBench 上均排名第 1,同时也是受测的 21 款模型中速度最快的。
> 轻量测试可在单张 24GB GPU 上运行
其后训练采用递归自我改进(RSI)循环,将模型自身的解析错误转化为新的训练数据,无需人工标注;这在文档解析领域尚属首次。
解析一页文档意味着找出每个区块(标题、段落、表格、公式),读取各区块内容,并按人类阅读顺序排列。
大多数解析器将版面检测与内容识别或阅读顺序绑定在一起,因此很难针对新类型的文档调整版面检测。
OXR 将版面检测拆分出来:一个小型版面模型为每个区块画出边界框,拥有 13 亿参数的 OXR 模型读取每个框中的内容并确定阅读顺序,因此团队可以换用自己的版面模型,同时保留其余部分。
它输出带有页面坐标的 13 种元素类型,包括表格、以 LaTeX(科学家用于书写公式的文本格式)表示的数学内容、代码块、印章和化学结构。
在 RSI 循环中,OXR 对每个训练页面解析数次,然后由一个通用视觉语言模型(VLM)将结果标记为正确、错误或不确定(即 OXR 自身多次运行的结果不一致)。
随后,VLM 为每次失败写出原因,并将这些原因按相同的薄弱点归为不同类别。
针对每个类别,VLM 每次参照一份不同的真实文档的样式生成新的已标注页面,OXR 在下一轮前用这些页面进行训练。
> 在单张 NVIDIA RTX PRO 6000 GPU 上,它每秒解码 558 个 token,约 101 秒即可端到端解析 100 页,页面吞吐量是 GLM-OCR 的 3.05 倍,比速度排名第 2 的模型 OvisOCR2 高 33.5%。
> 模型权重已发布在 Hugging Face 上,轻量测试可在单张 24GB GPU 上运行,免费 API 无需账户或密钥即可使用。
OXR 在 olmOCR-Bench(0.24 分)和 OmniDocBench(0.27 分)上的准确率领先幅度很小,但它解析页面的速度约为 olmOCR-Bench 亚军 Infinity-Parser2-Pro 的 64 倍。
RSI 循环会自动寻找模型最难处理的案例,由同一个通用 VLM 同时担任评判者和标签编写者,因此这一循环只能修正该 VLM 能发现的错误。