BM25 与倒排索引 — 学习笔记

核心问题:ES 中 BM25 存储的”关键词”是什么?


一、倒排索引(Inverted Index)

BM25 并不直接存储”关键词”,而是依赖倒排索引这一核心数据结构。可以把它想象成一本书的反向目录:普通目录是”第几页有什么内容”,而倒排索引是”某个词出现在哪些文档里”。

倒排索引由两部分组成:

组成部分内容对 BM25 的作用
词典(Dictionary)所有文档经分词后得到的词项(Term)集合,有序排列对应 BM25 公式中的查询词项 qi
倒排列表(Posting List)每个词项 → 文档ID列表 + 词频(TF) + 位置信息提供 f(qi, D)(词频)和 `

二、BM25 计算流程

查询文本
   ↓  分词(如 jieba)
词项列表(如 "搜索"、"引擎")
   ↓  查词典
倒排列表(文档ID、TF、位置)
   ↓  代入公式
BM25 得分 → 排序返回

BM25 公式关键变量:

  • f(qi, D) — 词项 qi 在文档 D 中的词频(TF)
  • |D| — 文档长度(词数)
  • avgdl — 所有文档的平均长度
  • DF — 包含该词项的文档数(用于 IDF 计算)
  • k1、b — 调节参数(ES 默认 k1=1.2,b=0.75)

三、分词工具:jieba

3.1 三种切分模式

模式函数特点适用场景
精确模式jieba.lcut(text)无歧义、无重复,最常用BM25 索引构建 ✅
全模式jieba.lcut(text, cut_all=True)切出所有可能的词,有重复穷举匹配
搜索引擎模式jieba.lcut_for_search(text)在精确基础上对长词再切分搜索召回

结论:构建 BM25 索引推荐使用精确模式,避免词项重复导致 TF 虚高。


四、自定义词典(user_dict)

4.1 作用

让 jieba 识别系统词典中没有的专有名词、行业术语,确保分词正确。

4.2 格式

词语 词频 词性
  • 词频:影响该词在切分竞争中的优先级,可省略(jieba 自动赋值)
  • 词性:可省略(如 n 名词、v 动词、nz 专有名词)

4.3 词频设置原则

jieba 使用前缀词典 + 有向无环图(DAG)+ 动态规划,选择总权重最高的切分路径。自定义词的词频参与全局竞争(不只和词典内词比较)。

场景建议词频
普通专有名词100 ~ 500
必须保留的强专有词2000 ~ 10000+
不确定时省略,jieba 自动推算

最佳实践:使用 jieba.suggest_freq("词语", tune=True) 让 jieba 自动计算最优词频。


五、停用词(Stopword)

停用词是在索引和检索时需要过滤掉的无意义高频词(如”的”、“了”、“是”)。过滤后可以:

  • 减小索引体积
  • 提升 BM25 相关性计算的准确度(避免无意义词拉高 TF)

六、完整处理流程图

原始文档
   ↓
加载自定义词典(user_dict)
   ↓
jieba 精确模式分词
   ↓
过滤停用词(stopwords)
   ↓
词项列表(Terms)
   ↓
构建倒排索引(词典 + 倒排列表)
   ↓
BM25 检索与排序

七、参考

  • Elasticsearch 官方文档:倒排索引与全文检索原理
  • jieba 分词:https://github.com/fxsjy/jieba
  • BM25 论文:Robertson & Zaragoza, 2009