> ## Documentation Index
> Fetch the complete documentation index at: https://docs.somark.ai/llms.txt
> Use this file to discover all available pages before exploring further.

# 概览

> 用真实行业文档评测解析模型的 Markdown 输出，比较文字、公式和表格得分，并定位具体错误。

## 什么是 DocParsingBench

**DocParsingBench** 是 SoMark 发布的开源文档解析评测工具，包含公开数据集、评分 CLI 和可视化分析工具。它将解析模型输出的 Markdown 与同一页面的人工标注对照，计算文字、公式、表格分数和 DPB 总分。只要模型能输出 Markdown，就可以用同一套数据和指标比较不同模型或版本。

> [card] [GitHub 仓库](https://github.com/SoMarkAI/DocParsingBench/blob/main/README_zh.md)
>
> 查看源码、评分方法和公开榜单。

> [card] [Hugging Face 数据集](https://huggingface.co/datasets/SoMarkAI/DocParsingBench)
>
> 下载原始页面图片和参考 Markdown。

> [card] [ModelScope 数据集](https://modelscope.cn/datasets/SoMark/DocParsingBench)
>
> 从魔搭社区访问数据集。

安装、评分和生成榜单的步骤见[运行评测](https://docs.somark.ai/open-source-tools/docparsingbench/usage.md)。

## 数据集覆盖范围

数据集包含 **1,400 页**人工标注的真实业务文档，覆盖中文、英文和中英混排，以及单栏、双栏、三栏和混合版式。页面保留了扫描噪声、印章遮挡和字符模糊等实际情况。[数据集说明](https://huggingface.co/datasets/SoMarkAI/DocParsingBench)

| 行业 | 文档示例 | 可检查的难点 |
| - | - | - |
| 金融 | 券商研报、上市公司年报 | 密集的多栏排版、复杂表格 |
| 法律 | 合同条款、法律文书 | 密集脚注、页眉页脚 |
| 科研 | 学术论文、专利、编程教材 | 混合栏、公式、代码块 |
| 制造 | 操作规程、表单、票据 | 模糊扫描、手写字段 |
| 教育 | 英语、化学和数学教材 | 选项、填空和公式 |

## 评分指标

工具先提取文字、独立公式和表格片段，再在每个类别内进行一对一匹配。这样，即使模型输出的片段顺序不同，对应内容仍有机会匹配。未匹配的片段按零相似度计分。

| 分项 | 默认指标 | 检查内容 |
| - | - | - |
| 文字 | `1 - NED` | 根据归一化编辑距离比较文字，行内公式默认也按 NED 计分 |
| 独立公式 | CDM，由 FastCDM 实现 | 公式渲染后的字符和位置匹配 |
| 表格 | TEDS | 表格结构和单元格内容 |

通用配置的默认权重为文字 **50%**、独立公式 **30%**、表格 **20%**。某一类在标注和预测中都不存在时，工具按实际出现的类别重新分配权重。默认评分会过滤图片，并跳过参考 Markdown 中含 `\smiles{...}` 的页面，因此数据集总页数与实际计分页数可能不同。[配置示例](https://github.com/SoMarkAI/DocParsingBench/blob/main/config.example.yaml)

### FastCDM 公式评分

**FastCDM** 是 DocParsingBench 默认使用的独立公式评分库，也可以直接在 Python 中调用。它在 Chrome 中用 KaTeX 渲染参考和预测的 LaTeX，按字符及其位置匹配，并返回 F1、召回率和精确率。DocParsingBench 取 F1 计算独立公式分数。[FastCDM 项目仓库](https://github.com/SoMarkAI/FastCDM/blob/main/README-CN.md)

在 FastCDM 仓库公布的 1,000 条公式评测中，原版 CDM（TeX Live 和 ImageMagick）耗时 608 秒，FastCDM（Chrome 和 KaTeX）耗时 97 秒，速度约为原版的 **6.26 倍**。可渲染的 LaTeX 命令取决于 KaTeX 的支持范围。[性能对比](https://github.com/SoMarkAI/FastCDM#cdm-vs-fastcdm) · [KaTeX 支持的命令](https://katex.org/docs/support_table)

## 从分数定位错误

可视化界面把原始页面、参考 Markdown、预测 Markdown 和分数放在同一个视图。你可以按行业、子行业和样本筛选，定位低分来自段落、公式还是表格。批量评测也可以汇总为交互式 HTML 榜单，按总分或任一分项排序。[官方界面示例](https://github.com/SoMarkAI/DocParsingBench/blob/main/assets/visual-analysis.jpeg)

仓库公布的榜单中，OXR-1.0 的 DPB 总分为 **0.8776**，文字、公式和表格分数分别为 **0.9060**、**0.8576** 和 **0.8004**。[官方榜单](https://github.com/SoMarkAI/DocParsingBench#evaluation-leaderboard)

评测工具采用 [Apache License 2.0](https://github.com/SoMarkAI/DocParsingBench/blob/main/LICENSE)。数据集采用 ODC-BY，许可见[数据集说明](https://huggingface.co/datasets/SoMarkAI/DocParsingBench)。


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.