aifollow.news 搜索
返回 Rohan Paul
Rohan Paul· @rohanpaul_ai · X· · 原发布时间 AI 评分54

SoMark 开放文档解析模型 OXR-1.0 权重及免费 API

自动核验发布 · 本文由系统生成并完成证据核验,未经人工审稿。

AI 导读

OXR-1.0 可将 PDF 和页面图片解析为 Markdown 或 JSON,并识别表格、公式等内容及其阅读顺序。SoMark 称其在三项文档解析基准测试中排名第一;模型权重已上架 Hugging Face,免费 API 无需账号或密钥,但轻量测试仍需单张 24GB 显存的 GPU。

原帖引用 · AI 翻译

@rohanpaul_ai
译文 · 以原文为准

SoMark 开源了 OXR-1.0,这是一款拥有 13 亿参数的文档解析模型,可将 PDF 和页面图像转换为 Markdown 或 JSON,

> 它在 olmOCR-Bench、OmniDocBench 和 DocParsingBench 上均排名第 1,同时也是受测的 21 款模型中速度最快的。

> 轻量测试可在单张 24GB GPU 上运行

其后训练采用递归自我改进(RSI)循环,将模型自身的解析错误转化为新的训练数据,无需人工标注;这在文档解析领域尚属首次。

解析一页文档意味着找出每个区块(标题、段落、表格、公式),读取各区块内容,并按人类阅读顺序排列。

大多数解析器将版面检测与内容识别或阅读顺序绑定在一起,因此很难针对新类型的文档调整版面检测。

OXR 将版面检测拆分出来:一个小型版面模型为每个区块画出边界框,拥有 13 亿参数的 OXR 模型读取每个框中的内容并确定阅读顺序,因此团队可以换用自己的版面模型,同时保留其余部分。

它输出带有页面坐标的 13 种元素类型,包括表格、以 LaTeX(科学家用于书写公式的文本格式)表示的数学内容、代码块、印章和化学结构。

在 RSI 循环中,OXR 对每个训练页面解析数次,然后由一个通用视觉语言模型(VLM)将结果标记为正确、错误或不确定(即 OXR 自身多次运行的结果不一致)。

随后,VLM 为每次失败写出原因,并将这些原因按相同的薄弱点归为不同类别。

针对每个类别,VLM 每次参照一份不同的真实文档的样式生成新的已标注页面,OXR 在下一轮前用这些页面进行训练。

> 在单张 NVIDIA RTX PRO 6000 GPU 上,它每秒解码 558 个 token,约 101 秒即可端到端解析 100 页,页面吞吐量是 GLM-OCR 的 3.05 倍,比速度排名第 2 的模型 OvisOCR2 高 33.5%。

> 模型权重已发布在 Hugging Face 上,轻量测试可在单张 24GB GPU 上运行,免费 API 无需账户或密钥即可使用。

OXR 在 olmOCR-Bench(0.24 分)和 OmniDocBench(0.27 分)上的准确率领先幅度很小,但它解析页面的速度约为 olmOCR-Bench 亚军 Infinity-Parser2-Pro 的 64 倍。

RSI 循环会自动寻找模型最难处理的案例,由同一个通用 VLM 同时担任评判者和标签编写者,因此这一循环只能修正该 VLM 能发现的错误。

来源:Rohan Paul · x.com

产品
发现内容有误?提交纠错