混合检索排序方式: RRF
RRF 全称倒数排名融合(Reciprocal Rank Fusion),在 RAG 系统中主要用来解决一个棘手的问题:当使用多种方式(比如关键词搜索 + 向量搜索)进行检索后,它们给出的分数就像”苹果”和”橙子”一样,没法直接放在一起比大小,RRF 就是巧妙地解决这个问题的”翻译官”。
为了让你快速理解,可以参考下面的对比:
| 对比维度 | 传统分数融合 | RRF (倒数排名融合) |
|---|---|---|
| 核心依据 | 依赖检索器给出的原始相似度分数 (如 0.82, 15.7) | 只依赖文档在每个结果集中的排名位置 (如第1名、第3名) |
| 主要难题 | 不同检索器的分数范围差异巨大,无法直接相加或比较 | 彻底绕开了分数归一化这个难题 |
| 工作原理 | 需要复杂的分数归一化处理,然后加权求和 | 通过公式 1 / (k + 排名) 为排名打分,然后累加这个分数 |
| 最终效果 | 易受某个检索器极端分数影响,结果不稳定 | 公平地融合各方排序意见,结果稳定可靠 |
1. RRF 是如何工作的?
用一个简单的例子,你就能明白它的精妙之处。
假设你的系统对同一个问题,分别用两种方式进行了检索:
- BM25 (关键词检索) 的结果排名:
文档A (第1名),文档B (第2名),文档C (第3名) - 向量检索 (语义检索) 的结果排名:
文档B (第1名),文档C (第2名),文档A (第3名)
现在,我们用 RRF 来给这些文档算算”总分”(公式中的常数 k 通常设为 60 ):
-
文档A:
- 在BM25中排第1,得分:
1 / (60 + 1) = 1/61 ≈ 0.0164 - 在向量中排第3,得分:
1 / (60 + 3) = 1/63 ≈ 0.0159 - RRF总分:0.0164 + 0.0159 = 0.0323
- 在BM25中排第1,得分:
-
文档B:
- 在BM25中排第2,得分:
1 / (60 + 2) = 1/62 ≈ 0.0161 - 在向量中排第1,得分:
1 / (60 + 1) = 1/61 ≈ 0.0164 - RRF总分:0.0161 + 0.0164 = 0.0325
- 在BM25中排第2,得分:
-
文档C:
- 在BM25中排第3,得分:
1 / 63 ≈ 0.0159 - 在向量中排第2,得分:
1 / 62 ≈ 0.0161 - RRF总分:0.0159 + 0.0161 = 0.0320
- 在BM25中排第3,得分:
最终融合排序结果:文档B > 文档A > 文档C
可以看到,文档B 在两个检索结果中分别排第2和第1,表现最稳定、最好,因此它的融合排名最高。而 文档C 在两个结果中都排在最末,所以排名最低。
2. 在 RAG 中的应用与场景
- 混合检索的标准配置:这是 RRF 最主要的应用场景。它负责将 BM25 等关键词检索(擅长精确匹配)和 向量语义检索(擅长理解意图)的结果完美融合,同时兼顾了”精准”和”语义”,是提升 RAG 系统召回率最有效的手段之一,可以使检索效果提升 26-31% 。
- 多路召回融合:当你的系统变得更复杂时,可能会从多个不同的索引或使用不同 embedding 模型进行检索。RRF 同样可以将这些结果集合并成一个统一的、高质量的最终结果。
- 复杂查询分解:当用户提出一个复杂问题时(例如”公司贷款政策和申请流程是什么?”),系统可以将其分解为两个子问题,分别检索后再用 RRF 融合答案,从而给出更全面的回答。
3. 核心参数:k 值与权重
虽然 RRF 基本不需要调参,但有两个关键点可以优化:
- 排名常量
k:公式中的k默认为 60。它的作用是让排名靠前的文档优势不那么绝对,给排名靠后的文档一点”追赶”的机会。k值越小,头部文档优势越大(适合精准查找);k值越大,排名影响越平缓(适合泛化搜索)。 - 加权 RRF:在一些高级版本(如 Elasticsearch 8.17+)中,可以为不同检索器设置权重。例如,在产品搜索中,你可以让”品牌匹配”这个检索器的权重为 0.8,而”款式相似”的权重为 0.2,让最终结果更符合业务逻辑。
4. 示例: 在 LangChain 中实现 RRF(倒数排名融合)
使用 EnsembleRetriever (最通用)
这是官方推荐的标准做法,可以轻松地将任意多个检索器(比如一个向量检索器和一个关键词检索器)组合起来。
步骤 1:安装依赖与初始化检索器
首先,确保你安装了必要的库。这里以一个简单的例子,组合一个基于 InMemoryVectorStore 的向量检索器和一个基于 BM25 的关键词检索器。
# 安装所需库
# pip install langchain langchain-community rank_bm25
from langchain.retrievers import EnsembleRetriever
from langchain_community.retrievers import BM25Retriever
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
from langchain_core.vectorstores import InMemoryVectorStore
# 1. 准备一些示例文档
doc_list = [
"猫是一种宠物",
"狗是人类最好的朋友",
"我喜欢吃苹果",
"向量数据库用于RAG"
]
docs = [Document(page_content=doc) for doc in doc_list]
# 2. 初始化 BM25 检索器 (关键词搜索)
bm25_retriever = BM25Retriever.from_documents(docs)
bm25_retriever.k = 2
# 3. 初始化向量存储并添加文档
embeddings = OpenAIEmbeddings()
vectorstore = InMemoryVectorStore(embeddings)
vectorstore.add_documents(docs)
vector_retriever = vectorstore.as_retriever(search_kwargs={"k": 2})
# 4. 创建 EnsembleRetriever
# weights 参数指定每个检索器的权重,默认均等分
ensemble_retriever = EnsembleRetriever(
retrievers=[bm25_retriever, vector_retriever],
weights=[0.5, 0.5],
c=60 # RRF 公式中的常数 k,默认 60
)步骤 2:执行检索
# 使用融合检索器
query = "什么动物是宠物?"
results = ensemble_retriever.invoke(query)
for doc in results:
print(doc.page_content)
# 预期输出会同时包含 "猫是一种宠物" 和 "狗是人类最好的朋友"参数调节小贴士
核心公式:RRF_score = Σ ( weight_i / (rank_i + k) )
在 EnsembleRetriever 中,有两个关键参数可以调节:
c(或k) 值:默认60。这个值越小,排名靠前的文档优势就越大;c值越大,不同排名的文档之间的分数差距就越小,结果会更均匀。weights权重:如果你发现某一种检索方式(比如向量检索)的效果明显更好,可以给它更高的权重,反之则降低。
建议先用默认参数跑起来,再根据实际效果微调。