RAG中 分块(chunk)和重叠(overlap) 大小怎么定?


在 RAG(检索增强生成)中,分块大小(chunk size) 和 重叠大小(overlap size) 是关键的超参数,直接影响检索效果和生成质量。以下是一些常用经验和调整原则。

一、常见经验值(适合快速上手)

场景分块大小(tokens)重叠大小(tokens)
通用文本(英文)256–51220–50
中文文本(通用)200–400 字符20–40 字符
长文档 / 技术手册512–102450–100
代码 / 结构化数据100–30010–30
对话 / 短文本128–25610–20

注意:以上是 token 级别;如果是按字符数分块,中文通常一个汉字一个字符,需要按模型 tokenizer 具体换算。

二、分块大小如何定?

1. 根据下游大模型上下文长度调整

  • 小上下文(2k–4k):块尽量小(256–512),避免检索到的块拼接后超长。
  • 大上下文(8k–128k):可以适当放大块(512–1024),让每块信息更完整。

2. 根据文档类型

  • 短段落、FAQ:可以按自然段落分块,不强行设定固定大小。
  • 连续叙述(小说、手册):需要较大块(512+)保持语义连贯。
  • 列表、表格、代码:较小块(150–300)更容易精准定位细节。

3. 检索粒度实验

  • 小块:检索精度高,但可能丢失上下文。
  • 大块:上下文丰富,但可能引入噪音,且对 embedding 模型区分能力要求高。

推荐做法:
用测试集评估 hit rate 和 answer relevance,选择最佳分块大小。

三、重叠大小如何定?

1. 作用

避免关键信息正好被切分到两个块的边界导致丢失。
例如:“张三毕业于清华大学”——若分成“张三毕业于”和“清华大学”,检索“张三清华”可能召回不全。

2. 经验公式

  • 重叠大小一般设为 分块大小的 5%–20%。
  • 小分块(256)→ 重叠 10–50 token
  • 大分块(1024)→ 重叠 50–150 token

3. 是否需要大的重叠?

  • 强边界依赖的文本(如代码、JSON)可降低重叠(5%)。
  • 叙事性、逻辑紧密文档可提高重叠(15–20%)。
  • 重叠过大 → 存储膨胀、检索重复内容增多。

四、一个可执行的调优思路

  1. 从通用值起步

    • 英文:chunk_size=384, overlap=40
    • 中文:chunk_size=300字符, overlap=30字符
  2. 抽样测试
    挑 20–30 个问题,人工评估检索结果是否漏掉关键信息或包含太多无关内容。

  3. 按两类错误调整

    • 漏召回 → 增加分块大小 或 增加重叠
    • 噪音多 → 减小分块大小 或 降低重叠
  4. 结合 embedding 模型的推荐

    • 多数通用 embedding 模型(如 text-embedding-ada、bge、m3e)在 256–512 token 表现较稳。

五、几个特殊情况的建议

情况策略
文档很短不强制分块,整篇作为一块
表格 / 代码按行块保持语法完整(每块 10–50 行),重叠 1–3 行
多级标题文档按语义单元分块(如小节),动态调整
已做过段落切分重叠可以很小(2–5%),只防边界切割

六、小结公式

chunk_size 由下游模型长度和语义完整性决定
overlap_size = chunk_size × (5% ~ 20%)
调优时以“不漏关键信息、不多噪音”为标准进行搜索。