ColBERT 深度解析

返回主文档 → RAG 检索策略全面解析


先理解对比:Bi-Encoder vs ColBERT

普通稠密检索(Bi-Encoder) 的做法是:把整篇文档压缩成一个向量,把问题也压缩成一个向量,然后计算两者的相似度。

问题在于,一个向量要表示一整段文字的所有语义,信息损耗很大。就像把一篇文章强行概括成一句话,细节必然丢失。


ColBERT 的核心思路

ColBERT 不把文档压缩成单个向量,而是为文档中每一个 Token 都生成一个向量,问题也同样处理:

普通方式:
问题 "苹果的营养价值"  →  [0.2, 0.8, 0.1, ...]  一个向量
文档 "苹果富含维生素C"  →  [0.3, 0.7, 0.2, ...]  一个向量
相似度 = 两向量点积

ColBERT:
问题 → [苹果向量] [的向量] [营养向量] [价值向量]  四个向量
文档 → [苹果向量] [富含向量] [维生素向量] [C向量]  四个向量

关键操作:MaxSim(Late Interaction)

对问题中的每一个 Token,去文档的所有 Token 向量里找最相似的那一个取最大值,再将所有 Token 的得分加总作为最终文档得分:

问题 Token "营养"  →  与文档所有Token比较  →  最相似的是"维生素" → 得分 0.85
问题 Token "苹果"  →  与文档所有Token比较  →  最相似的是"苹果"   → 得分 0.97
问题 Token "价值"  →  与文档所有Token比较  →  最相似的是"富含"   → 得分 0.72

最终文档得分 = 0.85 + 0.97 + 0.72 = 2.54

这样每个词都能找到它最对应的语义位置,不会因为整体压缩而丢失细节。


为什么精度高

因为保留了词级别的交互信息。举个例子:

问题:“Java 在 Android 开发中的应用”

文档 A:大量讲 Java 语言特性,顺带提了一句 Android
文档 B:专门讲 Android 开发技术栈,Java 是核心内容

普通向量检索可能因为文档 A 整体”Java 味”更浓而排更高。而 ColBERT 能精确感知到”Android”这个 Token 在文档 B 里匹配度极高,从而给出更合理的排序。


为什么存储开销大

假设:一篇文档平均 200 个 Token,每个 Token 向量维度 128,知识库共 100 万篇文档:

普通检索存储量:100万 × 128维              =   1.28 亿个数值
ColBERT 存储量:100万 × 200Token × 128维  =  256  亿个数值  →  放大约 200 倍

存储量与文档长度线性挂钩,文档越长代价越高。


定位与三者对比

ColBERT 通常不单独用于全量召回,而是作为精排层——先用普通向量检索粗召回几百条,再用 ColBERT 精排取最优,兼顾效率与精度。

Bi-EncoderColBERTCross-Encoder
交互粒度文档级(单向量)Token 级(多向量)全交互(联合编码)
速度最快中等最慢
精度一般高最高
存储开销小大无需预存
适合阶段大规模召回中量精排少量精排