aifollow.news Search
Back Rohan Paul
Rohan Paul· @rohanpaul_ai · X· · Original publication time AI score54

SoMark releases OXR-1.0 document parsing weights and a free APIMachine translation

Automatically verified and published · Generated and evidence-checked automatically; not reviewed by a human.

AI introduction

OXR-1.0 turns PDFs and page images into Markdown or JSON, identifying content such as tables and formulas and setting its reading order. SoMark says it ranks first on three document parsing benchmarks. Its weights are available on Hugging Face, and the free API needs no account or key; light testing on a local GPU requires 24GB of memory.

Original post · AI translation

@rohanpaul_ai
Translation · refer to the original

SoMark 开源了 OXR-1.0,这是一款拥有 13 亿参数的文档解析模型,可将 PDF 和页面图像转换为 Markdown 或 JSON,

> 它在 olmOCR-Bench、OmniDocBench 和 DocParsingBench 上均排名第 1,同时也是受测的 21 款模型中速度最快的。

> 轻量测试可在单张 24GB GPU 上运行

其后训练采用递归自我改进(RSI)循环,将模型自身的解析错误转化为新的训练数据,无需人工标注;这在文档解析领域尚属首次。

解析一页文档意味着找出每个区块(标题、段落、表格、公式),读取各区块内容,并按人类阅读顺序排列。

大多数解析器将版面检测与内容识别或阅读顺序绑定在一起,因此很难针对新类型的文档调整版面检测。

OXR 将版面检测拆分出来:一个小型版面模型为每个区块画出边界框,拥有 13 亿参数的 OXR 模型读取每个框中的内容并确定阅读顺序,因此团队可以换用自己的版面模型,同时保留其余部分。

它输出带有页面坐标的 13 种元素类型,包括表格、以 LaTeX(科学家用于书写公式的文本格式)表示的数学内容、代码块、印章和化学结构。

在 RSI 循环中,OXR 对每个训练页面解析数次,然后由一个通用视觉语言模型(VLM)将结果标记为正确、错误或不确定(即 OXR 自身多次运行的结果不一致)。

随后,VLM 为每次失败写出原因,并将这些原因按相同的薄弱点归为不同类别。

针对每个类别,VLM 每次参照一份不同的真实文档的样式生成新的已标注页面,OXR 在下一轮前用这些页面进行训练。

> 在单张 NVIDIA RTX PRO 6000 GPU 上,它每秒解码 558 个 token,约 101 秒即可端到端解析 100 页,页面吞吐量是 GLM-OCR 的 3.05 倍,比速度排名第 2 的模型 OvisOCR2 高 33.5%。

> 模型权重已发布在 Hugging Face 上,轻量测试可在单张 24GB GPU 上运行,免费 API 无需账户或密钥即可使用。

OXR 在 olmOCR-Bench(0.24 分)和 OmniDocBench(0.27 分)上的准确率领先幅度很小,但它解析页面的速度约为 olmOCR-Bench 亚军 Infinity-Parser2-Pro 的 64 倍。

RSI 循环会自动寻找模型最难处理的案例,由同一个通用 VLM 同时担任评判者和标签编写者,因此这一循环只能修正该 VLM 能发现的错误。

Source: Rohan Paul · x.com

Products
Found an error? Send a correction