混合检索排序方式: RRF


RRF 全称倒数排名融合(Reciprocal Rank Fusion),在 RAG 系统中主要用来解决一个棘手的问题:当使用多种方式(比如关键词搜索 + 向量搜索)进行检索后,它们给出的分数就像”苹果”和”橙子”一样,没法直接放在一起比大小,RRF 就是巧妙地解决这个问题的”翻译官”。

为了让你快速理解,可以参考下面的对比:

对比维度传统分数融合RRF (倒数排名融合)
核心依据依赖检索器给出的原始相似度分数 (如 0.82, 15.7)只依赖文档在每个结果集中的排名位置 (如第1名、第3名)
主要难题不同检索器的分数范围差异巨大,无法直接相加或比较彻底绕开了分数归一化这个难题
工作原理需要复杂的分数归一化处理,然后加权求和通过公式 1 / (k + 排名) 为排名打分,然后累加这个分数
最终效果易受某个检索器极端分数影响,结果不稳定公平地融合各方排序意见,结果稳定可靠

1. RRF 是如何工作的?

用一个简单的例子,你就能明白它的精妙之处。

假设你的系统对同一个问题,分别用两种方式进行了检索:

  • BM25 (关键词检索) 的结果排名:文档A (第1名),文档B (第2名),文档C (第3名)
  • 向量检索 (语义检索) 的结果排名:文档B (第1名),文档C (第2名),文档A (第3名)

现在,我们用 RRF 来给这些文档算算”总分”(公式中的常数 k 通常设为 60 ):

  • 文档A:

    • 在BM25中排第1,得分:1 / (60 + 1) = 1/61 ≈ 0.0164
    • 在向量中排第3,得分:1 / (60 + 3) = 1/63 ≈ 0.0159
    • RRF总分:0.0164 + 0.0159 = 0.0323
  • 文档B:

    • 在BM25中排第2,得分:1 / (60 + 2) = 1/62 ≈ 0.0161
    • 在向量中排第1,得分:1 / (60 + 1) = 1/61 ≈ 0.0164
    • RRF总分:0.0161 + 0.0164 = 0.0325
  • 文档C:

    • 在BM25中排第3,得分:1 / 63 ≈ 0.0159
    • 在向量中排第2,得分:1 / 62 ≈ 0.0161
    • RRF总分:0.0159 + 0.0161 = 0.0320

最终融合排序结果:文档B > 文档A > 文档C

可以看到,文档B 在两个检索结果中分别排第2和第1,表现最稳定、最好,因此它的融合排名最高。而 文档C 在两个结果中都排在最末,所以排名最低。


2. 在 RAG 中的应用与场景

  1. 混合检索的标准配置:这是 RRF 最主要的应用场景。它负责将 BM25 等关键词检索(擅长精确匹配)和 向量语义检索(擅长理解意图)的结果完美融合,同时兼顾了”精准”和”语义”,是提升 RAG 系统召回率最有效的手段之一,可以使检索效果提升 26-31% 。
  2. 多路召回融合:当你的系统变得更复杂时,可能会从多个不同的索引或使用不同 embedding 模型进行检索。RRF 同样可以将这些结果集合并成一个统一的、高质量的最终结果。
  3. 复杂查询分解:当用户提出一个复杂问题时(例如”公司贷款政策和申请流程是什么?”),系统可以将其分解为两个子问题,分别检索后再用 RRF 融合答案,从而给出更全面的回答。

3. 核心参数:k 值与权重

虽然 RRF 基本不需要调参,但有两个关键点可以优化:

  • 排名常量 k:公式中的 k 默认为 60。它的作用是让排名靠前的文档优势不那么绝对,给排名靠后的文档一点”追赶”的机会。k 值越小,头部文档优势越大(适合精准查找);k 值越大,排名影响越平缓(适合泛化搜索)。
  • 加权 RRF:在一些高级版本(如 Elasticsearch 8.17+)中,可以为不同检索器设置权重。例如,在产品搜索中,你可以让”品牌匹配”这个检索器的权重为 0.8,而”款式相似”的权重为 0.2,让最终结果更符合业务逻辑。

4. 示例: 在 LangChain 中实现 RRF(倒数排名融合)


使用 EnsembleRetriever (最通用)

这是官方推荐的标准做法,可以轻松地将任意多个检索器(比如一个向量检索器和一个关键词检索器)组合起来。

步骤 1:安装依赖与初始化检索器

首先,确保你安装了必要的库。这里以一个简单的例子,组合一个基于 InMemoryVectorStore 的向量检索器和一个基于 BM25 的关键词检索器。

# 安装所需库
# pip install langchain langchain-community rank_bm25
 
from langchain.retrievers import EnsembleRetriever
from langchain_community.retrievers import BM25Retriever
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
from langchain_core.vectorstores import InMemoryVectorStore
 
# 1. 准备一些示例文档
doc_list = [
    "猫是一种宠物",
    "狗是人类最好的朋友",
    "我喜欢吃苹果",
    "向量数据库用于RAG"
]
docs = [Document(page_content=doc) for doc in doc_list]
 
# 2. 初始化 BM25 检索器 (关键词搜索)
bm25_retriever = BM25Retriever.from_documents(docs)
bm25_retriever.k = 2
 
# 3. 初始化向量存储并添加文档
embeddings = OpenAIEmbeddings()
vectorstore = InMemoryVectorStore(embeddings)
vectorstore.add_documents(docs)
vector_retriever = vectorstore.as_retriever(search_kwargs={"k": 2})
 
# 4. 创建 EnsembleRetriever
#    weights 参数指定每个检索器的权重,默认均等分
ensemble_retriever = EnsembleRetriever(
    retrievers=[bm25_retriever, vector_retriever],
    weights=[0.5, 0.5],
    c=60  # RRF 公式中的常数 k,默认 60
)

步骤 2:执行检索

# 使用融合检索器
query = "什么动物是宠物?"
results = ensemble_retriever.invoke(query)
 
for doc in results:
    print(doc.page_content)
# 预期输出会同时包含 "猫是一种宠物" 和 "狗是人类最好的朋友"

参数调节小贴士

核心公式:RRF_score = Σ ( weight_i / (rank_i + k) )

在 EnsembleRetriever 中,有两个关键参数可以调节:

  • c (或 k) 值:默认 60。这个值越小,排名靠前的文档优势就越大;c 值越大,不同排名的文档之间的分数差距就越小,结果会更均匀。
  • weights 权重:如果你发现某一种检索方式(比如向量检索)的效果明显更好,可以给它更高的权重,反之则降低。

建议先用默认参数跑起来,再根据实际效果微调。