📄 文档解析工具选型思路(RAG 知识摄入)

一句话结论

普通电子文档(word / ppt / excel、简单排版文本 PDF)优先用 anydoc:规则解析、确定性、快、单二进制、占用少、可涉密。只有遇到扫描件、复杂版面、公式等规则处理不了的场景,才回退到 unstructured / docling / minerU 这类重型方案。


🧠 它在 RAG 里的位置

文档  →  ⬇️ 文档解析 / 知识摄入(Ingestion)  →  分块(chunk)  →  向量化  →  检索
              ↑ 本条笔记关注的第一环

文档解析是 RAG 摄入的第一环,其质量直接决定后续分块、向量化、检索的效果。解析阶段的脏数据会一路污染到 embedding 和检索——所以解析阶段就应尽量避免引入不可控的错误。


🧵 三大流派对比

1. 缝合怪派:markitdown(Microsoft 开源)

  • 一套库把常见格式统一转成 Markdown
  • 依赖:.docx 走 python-docx、.pptx 走 python-pptx、PDF 走 pdfplumber
  • 缺点:老版 .doc / .ppt 二进制格式不支持,需先用 LibreOffice 转成新格式
  • 定位:轻量、格式覆盖面广,但深度不足(复杂排版易丢失结构)

2. ETL 派:unstructured

  • 功能最全,适合文档 ETL 管道
  • 依赖栈:libmagic、poppler、tesseract、libreoffice、pandoc
  • 缺点:依赖太重;容器第一次调用会失败——根因分两层:
    • ① 运行时模型下载(社区最常报):首次 partition() 会在运行时下载 NLTK 分词数据(punkt_tab)+ spaCy 模型,走网络;离线/网络受限/目录只读即失败(issue #3511、#3967、#3795、#3617,报 Resource "punkt_tab" not found / 403)
    • ② 子进程调外部二进制(你怀疑的维度):unstructured 对 office 文档会 subprocess 调 LibreOffice(soffice)、对 PDF 调 poppler、OCR 调 tesseract;精简容器未装这些,第一次解析到对应格式就报 FileNotFoundError: soffice command was not found(issue #2500)
    • 官方 Docker 镜像已内置两者,主要踩坑在自定义/精简容器。规避:官方镜像 / 预下载模型 / 预装外部二进制并预热

3. 模型解析派:docling / minerU

  • docling(IBM 出品):基于 PyTorch + DETR 版面模型,结构化输出强(表格→HTML/CSV)
    • 一个 worker 吃 4–6G 显存
    • CPU 转一页要 1 秒多,慢
  • minerU(上海 AI Lab OpenDataLab 出品):专攻扫描件 + 论文公式(OCR + 公式识别)
    • 更慢,且模型不确定性强(同输入两次结果可能不同;错误多为”软错误”,静默错字难察觉)

✅ 推荐路径:普通电子文档用 anydoc

已核实的官方事实(firecrawl/anydoc,16364⭐,Rust)

  • 8 种格式族 / 14 种扩展名:Word(doc/docx/docm)、PowerPoint(ppt/pps/pot/pptx/pptm/ppsx/ppsm)、Excel(xls/xlsx/xlsm/xlsb)、OpenDocument(odt/ods/odp)、RTF、EPUB、CSV、PDF → 统一转 GFM Markdown
  • 原生支持老版 .doc/.ppt/.xls(这点比 markitdown 强,markitdown 需先 LibreOffice 转)
  • 纯 Rust、无 ML、无外部服务 → 确定性、可复现(官方基准中位 4.4ms/份,比 unstructured 572ms / markitdown 134ms / docling 513ms 快 1–2 个数量级)
  • 单预编译二进制(npx 首次运行下载对应平台二进制)
  • 直接依赖 9 个:calamine、cfb、csv、flate2、encoding_rs、log、pdf-inspector、quick-xml、zip
  • 官方解析质量基准分 81/100,14/14 格式全覆盖,各格式均为参测最高分
  • 覆盖:word、ppt、excel 等 8 种格式族,基于规则解析
  • 优点:
    • 解析快(中位 4.4ms/份)
    • 仅 9 个直接 Rust 依赖,一个二进制,占用少,部署简单
    • 可涉密(本地规则解析,不上传不外发)
    • 确定性:无 ML、无外部服务,同一输入结果可复现,可做增量索引
  • 缺点:
    • PDF 解析基于内置 pdf-inspector,只能处理文本型 PDF
    • 扫描件(无 OCR)直接报错 ConvertError::Encrypted | Unsupported——但这是明确拒绝(硬错误),不产生脏数据,行为可预期

⚖️ 核心洞察:确定性 vs 概率性

这是整份笔记最有价值的一条选型准则:

维度规则解析(anydoc)模型解析(docling / minerU)
结果确定性,可复现概率性,同输入可能不同
错误硬错误:明确拒绝,可预期软错误:静默错字,难察觉
索引可增量、稳定重排/重跑结果会漂移
代价低(快、省资源)高(慢、吃显存/CPU)
适用简单排版电子文档扫描件、复杂版面、公式

选型准则:能确定性地解析就优先确定性,把模型留给”规则做不了”的场景(扫描件、复杂版面、公式)。避免把模型不确定性引入到所有文档。


🧭 选型决策流

graph TD
    A["输入文档"] --> B{"扫描件 / 论文公式?"}
    B -- "是" --> C["minerU 或 docling<br/>模型派"]
    B -- "否" --> D{"排版简单的电子文档?<br/>word/ppt/excel/文本PDF"}
    D -- "是" --> E["anydoc<br/>规则解析, 确定性"]
    D -- "否 / 老格式" --> F["markitdown + LibreOffice<br/>或 unstructured"]
场景推荐
普通电子文档(word/ppt/excel,含老版 .doc/.ppt/.xls)、文本 PDF✅ anydoc(原生覆盖老格式)
需要转 Markdown 的轻量场景 / 不想引入 Rust 二进制markitdown(老格式需 + LibreOffice 预处理)
复杂版面 / 需要完整 ETLunstructured(注意首调模型下载 + 外部二进制)
扫描件 / 论文公式docling(通用)/ minerU(专门,但慢+不确定)

一句话记忆

先轻后重:用轻的规则解析解决 80% 场景(anydoc),把重模型留给真正需要它的少数场景。


📎 相关笔记