BM25 与倒排索引 — 学习笔记
核心问题:ES 中 BM25 存储的”关键词”是什么?
一、倒排索引(Inverted Index)
BM25 并不直接存储”关键词”,而是依赖倒排索引这一核心数据结构。可以把它想象成一本书的反向目录:普通目录是”第几页有什么内容”,而倒排索引是”某个词出现在哪些文档里”。
倒排索引由两部分组成:
| 组成部分 | 内容 | 对 BM25 的作用 |
|---|---|---|
| 词典(Dictionary) | 所有文档经分词后得到的词项(Term)集合,有序排列 | 对应 BM25 公式中的查询词项 qi |
| 倒排列表(Posting List) | 每个词项 → 文档ID列表 + 词频(TF) + 位置信息 | 提供 f(qi, D)(词频)和 ` |
二、BM25 计算流程
查询文本
↓ 分词(如 jieba)
词项列表(如 "搜索"、"引擎")
↓ 查词典
倒排列表(文档ID、TF、位置)
↓ 代入公式
BM25 得分 → 排序返回
BM25 公式关键变量:
f(qi, D)— 词项 qi 在文档 D 中的词频(TF)|D|— 文档长度(词数)avgdl— 所有文档的平均长度DF— 包含该词项的文档数(用于 IDF 计算)k1、b— 调节参数(ES 默认 k1=1.2,b=0.75)
三、分词工具:jieba
3.1 三种切分模式
| 模式 | 函数 | 特点 | 适用场景 |
|---|---|---|---|
| 精确模式 | jieba.lcut(text) | 无歧义、无重复,最常用 | BM25 索引构建 ✅ |
| 全模式 | jieba.lcut(text, cut_all=True) | 切出所有可能的词,有重复 | 穷举匹配 |
| 搜索引擎模式 | jieba.lcut_for_search(text) | 在精确基础上对长词再切分 | 搜索召回 |
结论:构建 BM25 索引推荐使用精确模式,避免词项重复导致 TF 虚高。
四、自定义词典(user_dict)
4.1 作用
让 jieba 识别系统词典中没有的专有名词、行业术语,确保分词正确。
4.2 格式
词语 词频 词性
- 词频:影响该词在切分竞争中的优先级,可省略(jieba 自动赋值)
- 词性:可省略(如
n名词、v动词、nz专有名词)
4.3 词频设置原则
jieba 使用前缀词典 + 有向无环图(DAG)+ 动态规划,选择总权重最高的切分路径。自定义词的词频参与全局竞争(不只和词典内词比较)。
| 场景 | 建议词频 |
|---|---|
| 普通专有名词 | 100 ~ 500 |
| 必须保留的强专有词 | 2000 ~ 10000+ |
| 不确定时 | 省略,jieba 自动推算 |
最佳实践:使用
jieba.suggest_freq("词语", tune=True)让 jieba 自动计算最优词频。
五、停用词(Stopword)
停用词是在索引和检索时需要过滤掉的无意义高频词(如”的”、“了”、“是”)。过滤后可以:
- 减小索引体积
- 提升 BM25 相关性计算的准确度(避免无意义词拉高 TF)
六、完整处理流程图
原始文档
↓
加载自定义词典(user_dict)
↓
jieba 精确模式分词
↓
过滤停用词(stopwords)
↓
词项列表(Terms)
↓
构建倒排索引(词典 + 倒排列表)
↓
BM25 检索与排序
七、参考
- Elasticsearch 官方文档:倒排索引与全文检索原理
- jieba 分词:https://github.com/fxsjy/jieba
- BM25 论文:Robertson & Zaragoza, 2009