跳转到主要内容

什么是 DocParsingBench

DocParsingBench 是 SoMark 发布的开源文档解析评测工具,包含公开数据集、评分 CLI 和可视化分析工具。它将解析模型输出的 Markdown 与同一页面的人工标注对照,计算文字、公式、表格分数和 DPB 总分。只要模型能输出 Markdown,就可以用同一套数据和指标比较不同模型或版本。

GitHub 仓库

查看源码、评分方法和公开榜单。

Hugging Face 数据集

下载原始页面图片和参考 Markdown。

ModelScope 数据集

从魔搭社区访问数据集。
安装、评分和生成榜单的步骤见运行评测。

数据集覆盖范围

数据集包含 1,400 页人工标注的真实业务文档,覆盖中文、英文和中英混排,以及单栏、双栏、三栏和混合版式。页面保留了扫描噪声、印章遮挡和字符模糊等实际情况。数据集说明

评分指标

工具先提取文字、独立公式和表格片段,再在每个类别内进行一对一匹配。这样,即使模型输出的片段顺序不同,对应内容仍有机会匹配。未匹配的片段按零相似度计分。 通用配置的默认权重为文字 50%、独立公式 30%、表格 20%。某一类在标注和预测中都不存在时,工具按实际出现的类别重新分配权重。默认评分会过滤图片,并跳过参考 Markdown 中含 \smiles{...} 的页面,因此数据集总页数与实际计分页数可能不同。配置示例

FastCDM 公式评分

FastCDM 是 DocParsingBench 默认使用的独立公式评分库,也可以直接在 Python 中调用。它在 Chrome 中用 KaTeX 渲染参考和预测的 LaTeX,按字符及其位置匹配,并返回 F1、召回率和精确率。DocParsingBench 取 F1 计算独立公式分数。FastCDM 项目仓库 在 FastCDM 仓库公布的 1,000 条公式评测中,原版 CDM(TeX Live 和 ImageMagick)耗时 608 秒,FastCDM(Chrome 和 KaTeX)耗时 97 秒,速度约为原版的 6.26 倍。可渲染的 LaTeX 命令取决于 KaTeX 的支持范围。性能对比 · KaTeX 支持的命令

从分数定位错误

可视化界面把原始页面、参考 Markdown、预测 Markdown 和分数放在同一个视图。你可以按行业、子行业和样本筛选,定位低分来自段落、公式还是表格。批量评测也可以汇总为交互式 HTML 榜单,按总分或任一分项排序。官方界面示例 仓库公布的榜单中,OXR-1.0 的 DPB 总分为 0.8776,文字、公式和表格分数分别为 0.9060、0.8576 和 0.8004。官方榜单 评测工具采用 Apache License 2.0。数据集采用 ODC-BY,许可见数据集说明。