安装和配置
下面以 Python 3.12 为例,在虚拟环境中安装dpb,安装时会一并安装 FastCDM。
先评测一页
在仓库根目录创建两份纯文本 Markdown。参考页写着120 USD,预测页把金额识别成了 100 USD。这个示例可以直接使用刚复制的配置文件。
Files=1、DPB=0.9286 和 Text=0.9286。这页只包含文本,所以总体分与文本分相同。单页结果 single-page.result.json 的 summary 保存分数,matches 保存匹配明细。
准备参考标注和模型输出
使用安装时提供的 Hugging Face CLI 下载数据集。images/ 存放原页图片,markdowns/ 存放同名的参考 Markdown。
images/ 中的页面,把每页的 Markdown 直接保存到 predictions/model-a/ 下。例如,education_chemistry_00001.png 的预测文件应为 predictions/model-a/education_chemistry_00001.md。评测器只会配对两个目录顶层同名的 .md 文件。
运行评测并检查结果
使用默认的公式指标 CDM 前,请准备 Node.js、Chrome 和兼容版本的 ChromeDriver,并把config.yaml 中的 chromedriver_path 改为本机驱动的路径。ChromeDriver 安装说明
Files、DPB、Text、Formula、Table 和 FormulaRenderFailures。JSON 结果中的 summary 存放汇总分,reports 存放逐页分数和片段匹配明细。
比较模型时,使用相同的页面清单和评分配置。核对实际计分页数 Files、逐页报告和公式渲染失败数,确认各模型的评测覆盖一致。默认配置会跳过参考标注中含 \smiles{...} 的页面。
用 FastCDM 单独评估公式
在已安装 DocParsingBench 的环境中,可以直接使用下面的 Python 示例。只需要评估公式时,也可以在虚拟环境中运行python -m pip install fastcdm,并使用上面的浏览器和驱动配置。运行前,将示例中的路径换成本机的 ChromeDriver 路径。
visualize 设为 True,并接收第四个返回值。FastCDM 用法
查看逐页差异
看到某页分数偏低时,用dpb segment-report 导出该页的参考标注、预测 Markdown、归一化结果和分段对照。将最后一行替换为你要检查的文件名。
在仓库版本
90bf1fb 中,dpb visualize 调用了 Gradio 4.x 不支持的 css 启动参数。遇到这类报错时,可以用逐页 JSON 和分段报告查看差异。可视化启动代码生成交互榜单
将每个模型的批量结果保存为results/ 下的 *.result.json,用以下命令生成 HTML。打开 results/leaderboard.html,即可按行业筛选,并按 DPB 或分项分数排序。

