向量数据库与稀疏检索学习笔记
内容概览
从选型(国内主流向量库格局 + 百万级数据决策)→ 原理(稀疏嵌入 SPLADE / ColBERT、倒排索引、BM25 在 Qdrant / Milvus / ES 的实现差异)→ 工程判断(ES 与向量库的效率之争、稀疏向量与 ES 倒排索引的本质差异)。
目录
- 一、国内主流向量数据库与百万级数据选型
- 二、LangChain 1.0 + Qdrant 示例
- 三、稀疏嵌入模型
- 四、核心概念:SPLADE 与 ColBERT
- 五、底层数据结构与计算方式
- 六、SPLADE 的权重来源与倒排索引
- 七、BM25 在 Qdrant / Milvus / ES 中的实现
- 八、ES 效率比向量库高吗
- 九、稀疏向量与 ES 倒排索引的核心差异
一、国内主流向量数据库与百万级数据选型
三类产品格局
开源独立向量数据库
- Milvus:国内最主流,Zilliz 开发,分布式架构,面向十亿级以上规模,性能上限最高但运维复杂度也最高
- Vearch:京东开源,已捐赠 LF AI & Data,基于 Faiss,类 ES API,图像/视频检索场景多
云厂商托管服务
- 腾讯云 VectorDB(宣称单索引支持千亿级)、阿里云、百度智能云、火山引擎等
融合型向量数据库
- KingbaseES (KES):原生向量类型融入关系库内核,一条 SQL 同时完成向量检索 + 结构化过滤
- PostgreSQL + pgvector:扩展方案,因 PG 广泛使用而非常主流
百万级数据选型
- 首选:PostgreSQL + pgvector —— 已有 PG 时零新增组件,复用备份/监控/高可用,向量与业务数据同库,HNSW 索引下延迟数十毫秒
- 次选:Qdrant —— 无 PG 或追求更好过滤性能时的中间选项。Rust 单二进制,部署极简,专为“向量检索 + 元数据过滤”混合查询设计
- 判断:数据 < 100 万且已有 PG → pgvector;100 万–1 亿或无 PG、要更强过滤 → Qdrant
二、LangChain 1.0 + Qdrant 示例
pip install langchain-qdrant langchain-openai qdrant-clientfrom langchain_qdrant import QdrantVectorStore, RetrievalMode
from langchain_openai import OpenAIEmbeddings
from langchain_core.documents import Document
from qdrant_client import QdrantClient
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
documents = [
Document(page_content="向量数据库的核心能力是高维向量的相似性检索。",
metadata={"source": "intro", "topic": "vector-db"}),
Document(page_content="Qdrant 使用 Rust 编写,支持丰富的元数据过滤和混合检索。",
metadata={"source": "qdrant-guide", "topic": "qdrant"}),
Document(page_content="LangChain 提供了统一的向量存储接口,方便切换后端。",
metadata={"source": "langchain-docs", "topic": "langchain"}),
]
client = QdrantClient(":memory:")
vector_store = QdrantVectorStore(
client=client,
collection_name="demo_collection",
embedding=embeddings,
retrieval_mode=RetrievalMode.DENSE,
)
ids = vector_store.add_documents(documents)
query = "哪种向量数据库用 Rust 写的?"
results = vector_store.similarity_search(query, k=2)
for i, doc in enumerate(results, 1):
print(f"[{i}] {doc.page_content}")
print(f" 元数据: {doc.metadata}")
retriever = vector_store.as_retriever(search_kwargs={"k": 3})
docs = retriever.invoke("Qdrant 有什么特点?")关键配置
- 检索模式:
DENSE(默认)/SPARSE/HYBRID - 连接:本地
":memory:"或path="./qdrant_data";生产用url="http://localhost:6333" - 带分数:
similarity_search_with_score()返回(Document, score) - Retriever 与 LCEL Runnable 接口完全兼容
三、稀疏嵌入模型
两类主流模型
学习型稀疏模型(Neural Sparse / Learned Sparse)
- 代表:SPLADE 系列。BERT 编码后经 MLM 头投影到词汇表空间,输出约 3 万维、仅 100–300 非零值的稀疏向量
- 关键突破:词项扩展(Term Expansion)。查询“跑步鞋”可能给“运动鞋”“慢跑鞋”赋权,召回 BM25 漏掉的结果
- 常用:
naver/splade-v3、naver/splade-cocondenser-ensembledistil、opensearch-project/opensearch-neural-sparse-encoding-v2-distill(67M 参数)
多功能混合模型
- BGE-M3:同时输出稠密、稀疏、ColBERT 多向量三种表示,一个模型满足混合检索
主流 LLM 厂商为何没有稀疏模型
没有。OpenAI、Anthropic、Google、Meta 均未推出专门稀疏嵌入模型。 原因是稀疏检索属于信息检索专项优化(词项权重、倒排索引兼容、词汇表投影),与 LLM 厂商的通用语言理解/生成主航道交集不大。稀疏模型主要来源:学术机构(Naver Labs)、搜索基础设施公司(Pinecone)、开源社区。
为什么 BM25 仍被提得最多
- 零依赖开箱即用:不需模型、GPU、训练;Lucene/ES/Solr 原生支持
- 延迟与成本压倒性:基准测试中 BM25 中位延迟 3.2ms,向量方案 12–18ms;单次查询成本约 $0.00027 vs $0.00073–$0.00105
- 精确匹配是刚需:电商 SKU、法律条款号、代码函数名必须精确命中
- SPLADE 是“超越 BM25”而非“替代”:Qdrant 电商实验 nDCG@10 从 0.305 提升到 0.389(约 28%),但前提是有标注数据微调
SPLADE 替代 BM25 后精确匹配会下降吗
不会下降,但优先级可能被稀释。 SPLADE 向量空间仍是整个词汇表,原文词汇天然有权重,倒排索引依然能精确命中。差异在于:
- BM25 只认字面
- SPLADE 既认字面也认语义扩展,排序逻辑从“只看字面”变成“字面 + 语义一起看”
明确边界:SPLADE 只能匹配词汇表内的词。训练数据中从未出现过的新词/专有名词(如全新产品型号代码),模型可能根本不知道,此时 BM25 更可靠。实践建议:混合检索(SPLADE + BM25 融合),或多字段索引(结构化字段用 BM25,正文用 SPLADE)。
四、核心概念:SPLADE 与 ColBERT
SPLADE 是什么
全称 Sparse Lexical and Expansion Model,基于 BERT 的学习型稀疏检索模型。BERT 编码后经 MLM 头投影到词汇表(约 3 万维),经 max pooling 和 log 饱和函数,输出高维但仅 100–300 非零值的稀疏向量。
ColBERT 风格多向量
核心是后期交互(Late Interaction):不把查询和文档各压成一个向量,而是保留每个 token 的独立向量。检索时对查询每个 token,在文档所有 token 向量中找最相似的,累加“最佳匹配”相似度。优势是细粒度语义匹配,代价是存储和计算开销大(索引可能膨胀几十倍)。ColBERTv2 通过压缩优化缓解。
五、底层数据结构与计算方式
多字段索引:取交集吗
不一定。 Qdrant 中对多个命名向量空间同时检索,默认是并集(融合排序),如以 0.5 权重融合两路结果取 Top-K。想要“取交集”效果通常通过过滤(Filter) 实现,如 must 条件严格 AND——这是“先过滤,后检索”。
BM25 / 稀疏 / 稠密的索引结构
- BM25:倒排索引
- 稀疏向量(SPLADE):仍是倒排索引。输出维度即词汇表大小,非零值少,转成
term → weight存入,与 Lucene/ES 完全兼容 - 稠密向量:ANN 索引(HNSW、IVF),非倒排索引。几百到上千维几乎每维有值,不存在“哪个维度等于多少”的离散映射
稀疏与稠密的“聚合”逻辑
稀疏向量:词汇维度上的聚合
SPLADE 对每个 token 预测其对整个词汇表每个词的权重贡献,再聚合:
- 原始 SPLADE 用求和(sum)
- SPLADE v2 及之后主流版本用最大值(max pooling),效果更好
稠密向量:序列维度上的聚合
通过注意力([CLS])或池化(均值/最大)得到代表整个文本的单一向量,每维没有明确词汇含义,是高度抽象的语义表示。
六、SPLADE 的权重来源与倒排索引
权重是 MLM logits 吗
是,但不直接用。 完整流程:
- 文本经 BERT 的 MLM 头,得到每个 token 在整个词汇表上的 logits
- 应用 SPLADE 激活函数
log(1 + ReLU(x)):ReLU 归零负数,log 饱和抑制过大维度 - 对所有 token 在每个词汇维度上取最大值(max pooling),得到整段文本稀疏向量
非零位置作为倒排索引 key 吗
正确。 非零维度对应词汇表中的具体 token,(token_id, weight) 正是倒排索引所需结构。SPLADE 权重还可量化为整数伪词频,直接兼容 Lucene/ES。设计精髓:用神经网络 logits 决定“哪些词重要、权重多大”,用倒排索引存储和检索——兼顾语义理解与词法效率。
SPLADE 是 TF-IDF 式检索吗
结构像,权重来源完全不同。
- 检索机制:压缩成整数伪词频后,就是标准倒排索引操作——查询词找 posting list,
query_weight × doc_weight累加排序,与 BM25 的 scatter-add 同套路 - 权重来源:BM25 是 tf-idf 统计公式直接算出;SPLADE 是 BERT MLM logits 经变换和 pooling 学出来的
准确说法:SPLADE 用了 TF-IDF 的“外壳”(倒排索引 + 加权求和),内核是神经网络的语义权重。
排序是 q_weight × chunk_weight 求和吗
是的,就是查询权重与文档权重的点积。 只有查询和文档在同一维度(同一词)都有非零权重时,该维度才贡献分数。Qdrant 内部稀疏向量距离度量固定为点积,无其他选项。搜索时通过倒排索引快速找到与查询有重叠非零维度的候选文档,只在重叠维度上乘法求和。
七、BM25 在 Qdrant / Milvus / ES 中的实现
Qdrant
早期版本(约 1.15.2 前):不会帮你算 BM25,需自己算好稀疏向量存进去。
当前版本三条路径:
- 服务端推理(最省事):内置
qdrant/bm25模型,写入传原始文本,Qdrant 自己完成分词、词干提取、停用词过滤、向量生成 - 客户端生成(FastEmbed):本地生成 BM25 稀疏向量再传入
- 完全手动:自己算好
indices和values传入
关键细节:IDF 在查询时动态计算。创建集合时给稀疏向量字段加 Modifier.IDF 配置,Qdrant 查询时按当前集合文档分布自动算 IDF 并应用。完整 BM25 分数 = 存进去的 TF 相关权重 × 查询时动态计算的 IDF。
Milvus 2.5+
服务端全自动,Doc in Doc out。 Schema 里定义文本字段和稀疏向量字段,通过 add_function 注册 BM25 function 声明“把文本字段自动转成稀疏向量”。插入时服务端自动分词、过滤、词干提取、生成稀疏向量;查询传文本自动编码并用 BM25 打分。支持同时发起稠密搜索和 BM25 搜索,用 RRF 融合。
Elasticsearch
索引时预存统计量,查询时算分。 文档写入时 Lucene 统计词频 f 存倒排列表、文档长度存 Norms、文档频率 n_t 存 Term Dictionary 和 Segment Metadata。查询时从预存统计信息查表代入 BM25 公式。查询侧 idf(q_i) 同样查询时动态计算,n_t 在每个分片实时统计。
关键差异
| Elasticsearch | Milvus 2.5+ / Qdrant | |
|---|---|---|
| 文档侧存储 | 倒排列表(term → doc IDs + tf)+ Norms + 全局统计量 | 一个稀疏向量(indices + values) |
| 查询侧计算 | 实时算 idf,代入 BM25 公式逐 term 打分求和 | 实时算 idf,与查询稀疏向量点积后应用 |
| 打分位置 | Lucene Scorer 逐 term 计算 | 向量点积 + IDF 修饰 |
| 底层结构 | 倒排索引 + 统计元数据 | 倒排索引(稀疏向量)+ 向量索引 |
核心差异:ES 预存的是“统计原料”,查询时按 BM25 公式现算;Milvus/Qdrant 预存的是“编码后的向量”,查询时做点积。两者查询时都要算,但算的东西和方式不同。
八、ES 效率比向量库高吗
不能一概而论。
词法检索(BM25):ES 主场。 7 万篇多语言新闻对比实验中,BM25 词法搜索(ES)平均延迟比语义搜索(Qdrant + BGE-M3)低 2.7 倍。ES 的 BM25 是 Lucene 数十年优化产物,向量库的 BM25 实现成熟度和底层优化深度有差距。
纯向量检索:专业向量库反击。 2026 年基准测试:Qdrant 216 QPS(P50 4.55ms)领先,pgvector 154 QPS,Milvus/Weaviate 约 87–88 QPS。ES 官方测试优化后 QPS 可达 89,接近 Qdrant 低 segment 场景的 67 QPS,但高度依赖调优。
混合检索:ES 的“一体化”优势需修正。 主流向量库(Milvus 2.5+、Qdrant)都已提供原生混合检索,同样避免了双引擎同步问题。差异在于 BM25 保真度:向量库的 BM25 通过稀疏向量实现,缺乏位置信息,无法做短语查询等基本搜索能力;ES 的传统倒排索引支持位置信息、短语查询、同义词、高亮等完整全文搜索特性。
决策:
- 极度依赖 BM25 完整全文搜索能力,或已在用 ES → ES 单引擎最省心
- 以向量语义检索为核心,BM25 需求“有就行” → Milvus/Qdrant 单引擎混合检索在运维复杂度和向量性能上可能更优
九、稀疏向量与 ES 倒排索引的核心差异
“气候变化”例子的正确归因
A: 气候变化 是 全球性 议题
B: 这个 地方 的 气候 每年 都 在 变化
打分相同的根本原因不是 IDF,而是“词项边界”和“位置信息”的缺失。
- ES 倒排索引:分词后 A 句有独立词项
气候变化,B 句没有,能精确命中 A,B 得零分。区分靠的是“词项是否作为整体存在”,与 IDF 无关。 - 稀疏向量实现:若分词器把“气候变化”切成
气候+变化,A 和 B 都包含这两个 token,查询权重 × 文档权重求和可能非常接近甚至相同。
IDF 为何不是主因:IDF 是全局统计量,只知道“气候 在多少文档里出现过”,不知道“它出现在什么位置、和谁相邻”。A 和 B 都包含 气候/变化 时,n_t 几乎相同,算出的 IDF 也几乎相同,无法区分“相邻构成完整概念”与“被拆开是两件独立的事”。
真正的区别:
- 词项边界:ES 可保留
气候变化作为单一词项,稀疏向量方案可能拆成两个 token - 位置信息:ES 倒排索引存 positions,支持短语查询(检查
气候和变化是否相邻且顺序一致);稀疏向量实现只存term → weight,不存位置,只能做词袋式加权求和 - IDF 的局限:IDF 是全局统计量,对“同一组词、不同排列”的文档区分能力有限
结论:稀疏向量与 ES 倒排索引的核心差异,是 “词袋加权求和” vs “带位置信息的词项匹配”。IDF 只是两者共有的统计因子,不是分野所在。
相关笔记
- Milvus 完整学习笔记 — 姊妹篇:Milvus 从 Schema 到混合检索全链路
- Milvus向量数据库架构与向量检索原理解析 — HNSW / IVF / PQ 原理 + 架构
- BM25与倒排索引笔记 — BM25 与倒排索引底层
- 混合检索排序方式 RRF — 多路召回融合
- ColBERT深度解析 — 后期交互(Late Interaction)多向量检索
- Cross Encoder(交叉编码器) — 精排模型
- RAG检索策略全面解析 — 检索策略总览
- AI 大模型 MOC — 主题导航