ColBERT 深度解析
返回主文档 → RAG 检索策略全面解析
先理解对比:Bi-Encoder vs ColBERT
普通稠密检索(Bi-Encoder) 的做法是:把整篇文档压缩成一个向量,把问题也压缩成一个向量,然后计算两者的相似度。
问题在于,一个向量要表示一整段文字的所有语义,信息损耗很大。就像把一篇文章强行概括成一句话,细节必然丢失。
ColBERT 的核心思路
ColBERT 不把文档压缩成单个向量,而是为文档中每一个 Token 都生成一个向量,问题也同样处理:
普通方式:
问题 "苹果的营养价值" → [0.2, 0.8, 0.1, ...] 一个向量
文档 "苹果富含维生素C" → [0.3, 0.7, 0.2, ...] 一个向量
相似度 = 两向量点积
ColBERT:
问题 → [苹果向量] [的向量] [营养向量] [价值向量] 四个向量
文档 → [苹果向量] [富含向量] [维生素向量] [C向量] 四个向量
关键操作:MaxSim(Late Interaction)
对问题中的每一个 Token,去文档的所有 Token 向量里找最相似的那一个取最大值,再将所有 Token 的得分加总作为最终文档得分:
问题 Token "营养" → 与文档所有Token比较 → 最相似的是"维生素" → 得分 0.85
问题 Token "苹果" → 与文档所有Token比较 → 最相似的是"苹果" → 得分 0.97
问题 Token "价值" → 与文档所有Token比较 → 最相似的是"富含" → 得分 0.72
最终文档得分 = 0.85 + 0.97 + 0.72 = 2.54
这样每个词都能找到它最对应的语义位置,不会因为整体压缩而丢失细节。
为什么精度高
因为保留了词级别的交互信息。举个例子:
问题:“Java 在 Android 开发中的应用”
文档 A:大量讲 Java 语言特性,顺带提了一句 Android
文档 B:专门讲 Android 开发技术栈,Java 是核心内容
普通向量检索可能因为文档 A 整体”Java 味”更浓而排更高。而 ColBERT 能精确感知到”Android”这个 Token 在文档 B 里匹配度极高,从而给出更合理的排序。
为什么存储开销大
假设:一篇文档平均 200 个 Token,每个 Token 向量维度 128,知识库共 100 万篇文档:
普通检索存储量:100万 × 128维 = 1.28 亿个数值
ColBERT 存储量:100万 × 200Token × 128维 = 256 亿个数值 → 放大约 200 倍
存储量与文档长度线性挂钩,文档越长代价越高。
定位与三者对比
ColBERT 通常不单独用于全量召回,而是作为精排层——先用普通向量检索粗召回几百条,再用 ColBERT 精排取最优,兼顾效率与精度。
| Bi-Encoder | ColBERT | Cross-Encoder | |
|---|---|---|---|
| 交互粒度 | 文档级(单向量) | Token 级(多向量) | 全交互(联合编码) |
| 速度 | 最快 | 中等 | 最慢 |
| 精度 | 一般 | 高 | 最高 |
| 存储开销 | 小 | 大 | 无需预存 |
| 适合阶段 | 大规模召回 | 中量精排 | 少量精排 |