RAG中 分块(chunk)和重叠(overlap) 大小怎么定?
在 RAG(检索增强生成)中,分块大小(chunk size) 和 重叠大小(overlap size) 是关键的超参数,直接影响检索效果和生成质量。以下是一些常用经验和调整原则。
一、常见经验值(适合快速上手)
| 场景 | 分块大小(tokens) | 重叠大小(tokens) |
|---|---|---|
| 通用文本(英文) | 256–512 | 20–50 |
| 中文文本(通用) | 200–400 字符 | 20–40 字符 |
| 长文档 / 技术手册 | 512–1024 | 50–100 |
| 代码 / 结构化数据 | 100–300 | 10–30 |
| 对话 / 短文本 | 128–256 | 10–20 |
注意:以上是 token 级别;如果是按字符数分块,中文通常一个汉字一个字符,需要按模型 tokenizer 具体换算。
二、分块大小如何定?
1. 根据下游大模型上下文长度调整
- 小上下文(2k–4k):块尽量小(256–512),避免检索到的块拼接后超长。
- 大上下文(8k–128k):可以适当放大块(512–1024),让每块信息更完整。
2. 根据文档类型
- 短段落、FAQ:可以按自然段落分块,不强行设定固定大小。
- 连续叙述(小说、手册):需要较大块(512+)保持语义连贯。
- 列表、表格、代码:较小块(150–300)更容易精准定位细节。
3. 检索粒度实验
- 小块:检索精度高,但可能丢失上下文。
- 大块:上下文丰富,但可能引入噪音,且对 embedding 模型区分能力要求高。
推荐做法:
用测试集评估 hit rate 和 answer relevance,选择最佳分块大小。
三、重叠大小如何定?
1. 作用
避免关键信息正好被切分到两个块的边界导致丢失。
例如:“张三毕业于清华大学”——若分成“张三毕业于”和“清华大学”,检索“张三清华”可能召回不全。
2. 经验公式
- 重叠大小一般设为 分块大小的 5%–20%。
- 小分块(256)→ 重叠 10–50 token
- 大分块(1024)→ 重叠 50–150 token
3. 是否需要大的重叠?
- 强边界依赖的文本(如代码、JSON)可降低重叠(5%)。
- 叙事性、逻辑紧密文档可提高重叠(15–20%)。
- 重叠过大 → 存储膨胀、检索重复内容增多。
四、一个可执行的调优思路
-
从通用值起步
- 英文:chunk_size=384, overlap=40
- 中文:chunk_size=300字符, overlap=30字符
-
抽样测试
挑 20–30 个问题,人工评估检索结果是否漏掉关键信息或包含太多无关内容。 -
按两类错误调整
- 漏召回 → 增加分块大小 或 增加重叠
- 噪音多 → 减小分块大小 或 降低重叠
-
结合 embedding 模型的推荐
- 多数通用 embedding 模型(如 text-embedding-ada、bge、m3e)在 256–512 token 表现较稳。
五、几个特殊情况的建议
| 情况 | 策略 |
|---|---|
| 文档很短 | 不强制分块,整篇作为一块 |
| 表格 / 代码 | 按行块保持语法完整(每块 10–50 行),重叠 1–3 行 |
| 多级标题文档 | 按语义单元分块(如小节),动态调整 |
| 已做过段落切分 | 重叠可以很小(2–5%),只防边界切割 |
六、小结公式
chunk_size 由下游模型长度和语义完整性决定
overlap_size = chunk_size × (5% ~ 20%)
调优时以“不漏关键信息、不多噪音”为标准进行搜索。