向量数据库与稀疏检索学习笔记

内容概览

从选型(国内主流向量库格局 + 百万级数据决策)→ 原理(稀疏嵌入 SPLADE / ColBERT、倒排索引、BM25 在 Qdrant / Milvus / ES 的实现差异)→ 工程判断(ES 与向量库的效率之争、稀疏向量与 ES 倒排索引的本质差异)。

目录

  1. 一、国内主流向量数据库与百万级数据选型
  2. 二、LangChain 1.0 + Qdrant 示例
  3. 三、稀疏嵌入模型
  4. 四、核心概念:SPLADE 与 ColBERT
  5. 五、底层数据结构与计算方式
  6. 六、SPLADE 的权重来源与倒排索引
  7. 七、BM25 在 Qdrant / Milvus / ES 中的实现
  8. 八、ES 效率比向量库高吗
  9. 九、稀疏向量与 ES 倒排索引的核心差异

一、国内主流向量数据库与百万级数据选型

三类产品格局

开源独立向量数据库

  • Milvus:国内最主流,Zilliz 开发,分布式架构,面向十亿级以上规模,性能上限最高但运维复杂度也最高
  • Vearch:京东开源,已捐赠 LF AI & Data,基于 Faiss,类 ES API,图像/视频检索场景多

云厂商托管服务

  • 腾讯云 VectorDB(宣称单索引支持千亿级)、阿里云、百度智能云、火山引擎等

融合型向量数据库

  • KingbaseES (KES):原生向量类型融入关系库内核,一条 SQL 同时完成向量检索 + 结构化过滤
  • PostgreSQL + pgvector:扩展方案,因 PG 广泛使用而非常主流

百万级数据选型

  • 首选:PostgreSQL + pgvector —— 已有 PG 时零新增组件,复用备份/监控/高可用,向量与业务数据同库,HNSW 索引下延迟数十毫秒
  • 次选:Qdrant —— 无 PG 或追求更好过滤性能时的中间选项。Rust 单二进制,部署极简,专为“向量检索 + 元数据过滤”混合查询设计
  • 判断:数据 < 100 万且已有 PG → pgvector;100 万–1 亿或无 PG、要更强过滤 → Qdrant

二、LangChain 1.0 + Qdrant 示例

pip install langchain-qdrant langchain-openai qdrant-client
from langchain_qdrant import QdrantVectorStore, RetrievalMode
from langchain_openai import OpenAIEmbeddings
from langchain_core.documents import Document
from qdrant_client import QdrantClient
 
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
 
documents = [
    Document(page_content="向量数据库的核心能力是高维向量的相似性检索。",
             metadata={"source": "intro", "topic": "vector-db"}),
    Document(page_content="Qdrant 使用 Rust 编写,支持丰富的元数据过滤和混合检索。",
             metadata={"source": "qdrant-guide", "topic": "qdrant"}),
    Document(page_content="LangChain 提供了统一的向量存储接口,方便切换后端。",
             metadata={"source": "langchain-docs", "topic": "langchain"}),
]
 
client = QdrantClient(":memory:")
vector_store = QdrantVectorStore(
    client=client,
    collection_name="demo_collection",
    embedding=embeddings,
    retrieval_mode=RetrievalMode.DENSE,
)
 
ids = vector_store.add_documents(documents)
 
query = "哪种向量数据库用 Rust 写的?"
results = vector_store.similarity_search(query, k=2)
for i, doc in enumerate(results, 1):
    print(f"[{i}] {doc.page_content}")
    print(f"    元数据: {doc.metadata}")
 
retriever = vector_store.as_retriever(search_kwargs={"k": 3})
docs = retriever.invoke("Qdrant 有什么特点?")

关键配置

  • 检索模式:DENSE(默认)/ SPARSE / HYBRID
  • 连接:本地 ":memory:" 或 path="./qdrant_data";生产用 url="http://localhost:6333"
  • 带分数:similarity_search_with_score() 返回 (Document, score)
  • Retriever 与 LCEL Runnable 接口完全兼容

三、稀疏嵌入模型

两类主流模型

学习型稀疏模型(Neural Sparse / Learned Sparse)

  • 代表:SPLADE 系列。BERT 编码后经 MLM 头投影到词汇表空间,输出约 3 万维、仅 100–300 非零值的稀疏向量
  • 关键突破:词项扩展(Term Expansion)。查询“跑步鞋”可能给“运动鞋”“慢跑鞋”赋权,召回 BM25 漏掉的结果
  • 常用:naver/splade-v3、naver/splade-cocondenser-ensembledistil、opensearch-project/opensearch-neural-sparse-encoding-v2-distill(67M 参数)

多功能混合模型

  • BGE-M3:同时输出稠密、稀疏、ColBERT 多向量三种表示,一个模型满足混合检索

主流 LLM 厂商为何没有稀疏模型

没有。OpenAI、Anthropic、Google、Meta 均未推出专门稀疏嵌入模型。 原因是稀疏检索属于信息检索专项优化(词项权重、倒排索引兼容、词汇表投影),与 LLM 厂商的通用语言理解/生成主航道交集不大。稀疏模型主要来源:学术机构(Naver Labs)、搜索基础设施公司(Pinecone)、开源社区。

为什么 BM25 仍被提得最多

  • 零依赖开箱即用:不需模型、GPU、训练;Lucene/ES/Solr 原生支持
  • 延迟与成本压倒性:基准测试中 BM25 中位延迟 3.2ms,向量方案 12–18ms;单次查询成本约 $0.00027 vs $0.00073–$0.00105
  • 精确匹配是刚需:电商 SKU、法律条款号、代码函数名必须精确命中
  • SPLADE 是“超越 BM25”而非“替代”:Qdrant 电商实验 nDCG@10 从 0.305 提升到 0.389(约 28%),但前提是有标注数据微调

SPLADE 替代 BM25 后精确匹配会下降吗

不会下降,但优先级可能被稀释。 SPLADE 向量空间仍是整个词汇表,原文词汇天然有权重,倒排索引依然能精确命中。差异在于:

  • BM25 只认字面
  • SPLADE 既认字面也认语义扩展,排序逻辑从“只看字面”变成“字面 + 语义一起看”

明确边界:SPLADE 只能匹配词汇表内的词。训练数据中从未出现过的新词/专有名词(如全新产品型号代码),模型可能根本不知道,此时 BM25 更可靠。实践建议:混合检索(SPLADE + BM25 融合),或多字段索引(结构化字段用 BM25,正文用 SPLADE)。


四、核心概念:SPLADE 与 ColBERT

SPLADE 是什么

全称 Sparse Lexical and Expansion Model,基于 BERT 的学习型稀疏检索模型。BERT 编码后经 MLM 头投影到词汇表(约 3 万维),经 max pooling 和 log 饱和函数,输出高维但仅 100–300 非零值的稀疏向量。

ColBERT 风格多向量

核心是后期交互(Late Interaction):不把查询和文档各压成一个向量,而是保留每个 token 的独立向量。检索时对查询每个 token,在文档所有 token 向量中找最相似的,累加“最佳匹配”相似度。优势是细粒度语义匹配,代价是存储和计算开销大(索引可能膨胀几十倍)。ColBERTv2 通过压缩优化缓解。


五、底层数据结构与计算方式

多字段索引:取交集吗

不一定。 Qdrant 中对多个命名向量空间同时检索,默认是并集(融合排序),如以 0.5 权重融合两路结果取 Top-K。想要“取交集”效果通常通过过滤(Filter) 实现,如 must 条件严格 AND——这是“先过滤,后检索”。

BM25 / 稀疏 / 稠密的索引结构

  • BM25:倒排索引
  • 稀疏向量(SPLADE):仍是倒排索引。输出维度即词汇表大小,非零值少,转成 term → weight 存入,与 Lucene/ES 完全兼容
  • 稠密向量:ANN 索引(HNSW、IVF),非倒排索引。几百到上千维几乎每维有值,不存在“哪个维度等于多少”的离散映射

稀疏与稠密的“聚合”逻辑

稀疏向量:词汇维度上的聚合
SPLADE 对每个 token 预测其对整个词汇表每个词的权重贡献,再聚合:

  • 原始 SPLADE 用求和(sum)
  • SPLADE v2 及之后主流版本用最大值(max pooling),效果更好

稠密向量:序列维度上的聚合
通过注意力([CLS])或池化(均值/最大)得到代表整个文本的单一向量,每维没有明确词汇含义,是高度抽象的语义表示。


六、SPLADE 的权重来源与倒排索引

权重是 MLM logits 吗

是,但不直接用。 完整流程:

  1. 文本经 BERT 的 MLM 头,得到每个 token 在整个词汇表上的 logits
  2. 应用 SPLADE 激活函数 log(1 + ReLU(x)):ReLU 归零负数,log 饱和抑制过大维度
  3. 对所有 token 在每个词汇维度上取最大值(max pooling),得到整段文本稀疏向量

非零位置作为倒排索引 key 吗

正确。 非零维度对应词汇表中的具体 token,(token_id, weight) 正是倒排索引所需结构。SPLADE 权重还可量化为整数伪词频,直接兼容 Lucene/ES。设计精髓:用神经网络 logits 决定“哪些词重要、权重多大”,用倒排索引存储和检索——兼顾语义理解与词法效率。

SPLADE 是 TF-IDF 式检索吗

结构像,权重来源完全不同。

  • 检索机制:压缩成整数伪词频后,就是标准倒排索引操作——查询词找 posting list,query_weight × doc_weight 累加排序,与 BM25 的 scatter-add 同套路
  • 权重来源:BM25 是 tf-idf 统计公式直接算出;SPLADE 是 BERT MLM logits 经变换和 pooling 学出来的

准确说法:SPLADE 用了 TF-IDF 的“外壳”(倒排索引 + 加权求和),内核是神经网络的语义权重。

排序是 q_weight × chunk_weight 求和吗

是的,就是查询权重与文档权重的点积。 只有查询和文档在同一维度(同一词)都有非零权重时,该维度才贡献分数。Qdrant 内部稀疏向量距离度量固定为点积,无其他选项。搜索时通过倒排索引快速找到与查询有重叠非零维度的候选文档,只在重叠维度上乘法求和。


七、BM25 在 Qdrant / Milvus / ES 中的实现

Qdrant

早期版本(约 1.15.2 前):不会帮你算 BM25,需自己算好稀疏向量存进去。

当前版本三条路径:

  1. 服务端推理(最省事):内置 qdrant/bm25 模型,写入传原始文本,Qdrant 自己完成分词、词干提取、停用词过滤、向量生成
  2. 客户端生成(FastEmbed):本地生成 BM25 稀疏向量再传入
  3. 完全手动:自己算好 indices 和 values 传入

关键细节:IDF 在查询时动态计算。创建集合时给稀疏向量字段加 Modifier.IDF 配置,Qdrant 查询时按当前集合文档分布自动算 IDF 并应用。完整 BM25 分数 = 存进去的 TF 相关权重 × 查询时动态计算的 IDF。

Milvus 2.5+

服务端全自动,Doc in Doc out。 Schema 里定义文本字段和稀疏向量字段,通过 add_function 注册 BM25 function 声明“把文本字段自动转成稀疏向量”。插入时服务端自动分词、过滤、词干提取、生成稀疏向量;查询传文本自动编码并用 BM25 打分。支持同时发起稠密搜索和 BM25 搜索,用 RRF 融合。

Elasticsearch

索引时预存统计量,查询时算分。 文档写入时 Lucene 统计词频 f 存倒排列表、文档长度存 Norms、文档频率 n_t 存 Term Dictionary 和 Segment Metadata。查询时从预存统计信息查表代入 BM25 公式。查询侧 idf(q_i) 同样查询时动态计算,n_t 在每个分片实时统计。

关键差异

ElasticsearchMilvus 2.5+ / Qdrant
文档侧存储倒排列表(term → doc IDs + tf)+ Norms + 全局统计量一个稀疏向量(indices + values)
查询侧计算实时算 idf,代入 BM25 公式逐 term 打分求和实时算 idf,与查询稀疏向量点积后应用
打分位置Lucene Scorer 逐 term 计算向量点积 + IDF 修饰
底层结构倒排索引 + 统计元数据倒排索引(稀疏向量)+ 向量索引

核心差异:ES 预存的是“统计原料”,查询时按 BM25 公式现算;Milvus/Qdrant 预存的是“编码后的向量”,查询时做点积。两者查询时都要算,但算的东西和方式不同。


八、ES 效率比向量库高吗

不能一概而论。

词法检索(BM25):ES 主场。 7 万篇多语言新闻对比实验中,BM25 词法搜索(ES)平均延迟比语义搜索(Qdrant + BGE-M3)低 2.7 倍。ES 的 BM25 是 Lucene 数十年优化产物,向量库的 BM25 实现成熟度和底层优化深度有差距。

纯向量检索:专业向量库反击。 2026 年基准测试:Qdrant 216 QPS(P50 4.55ms)领先,pgvector 154 QPS,Milvus/Weaviate 约 87–88 QPS。ES 官方测试优化后 QPS 可达 89,接近 Qdrant 低 segment 场景的 67 QPS,但高度依赖调优。

混合检索:ES 的“一体化”优势需修正。 主流向量库(Milvus 2.5+、Qdrant)都已提供原生混合检索,同样避免了双引擎同步问题。差异在于 BM25 保真度:向量库的 BM25 通过稀疏向量实现,缺乏位置信息,无法做短语查询等基本搜索能力;ES 的传统倒排索引支持位置信息、短语查询、同义词、高亮等完整全文搜索特性。

决策:

  • 极度依赖 BM25 完整全文搜索能力,或已在用 ES → ES 单引擎最省心
  • 以向量语义检索为核心,BM25 需求“有就行” → Milvus/Qdrant 单引擎混合检索在运维复杂度和向量性能上可能更优

九、稀疏向量与 ES 倒排索引的核心差异

“气候变化”例子的正确归因

A: 气候变化 是 全球性 议题
B: 这个 地方 的 气候 每年 都 在 变化

打分相同的根本原因不是 IDF,而是“词项边界”和“位置信息”的缺失。

  • ES 倒排索引:分词后 A 句有独立词项 气候变化,B 句没有,能精确命中 A,B 得零分。区分靠的是“词项是否作为整体存在”,与 IDF 无关。
  • 稀疏向量实现:若分词器把“气候变化”切成 气候 + 变化,A 和 B 都包含这两个 token,查询权重 × 文档权重求和可能非常接近甚至相同。

IDF 为何不是主因:IDF 是全局统计量,只知道“气候 在多少文档里出现过”,不知道“它出现在什么位置、和谁相邻”。A 和 B 都包含 气候/变化 时,n_t 几乎相同,算出的 IDF 也几乎相同,无法区分“相邻构成完整概念”与“被拆开是两件独立的事”。

真正的区别:

  1. 词项边界:ES 可保留 气候变化 作为单一词项,稀疏向量方案可能拆成两个 token
  2. 位置信息:ES 倒排索引存 positions,支持短语查询(检查 气候 和 变化 是否相邻且顺序一致);稀疏向量实现只存 term → weight,不存位置,只能做词袋式加权求和
  3. IDF 的局限:IDF 是全局统计量,对“同一组词、不同排列”的文档区分能力有限

结论:稀疏向量与 ES 倒排索引的核心差异,是 “词袋加权求和” vs “带位置信息的词项匹配”。IDF 只是两者共有的统计因子,不是分野所在。


相关笔记