归一化后的向量度量等价关系
前提
向量 A、B 均已归一化:‖A‖ = ‖B‖ = 1
一、余弦相似度 = 点积
原始公式:
cos_sim(A, B) = (A · B) / (‖A‖ × ‖B‖)
代入归一化条件:
cos_sim(A, B) = (A · B) / (1 × 1) = A · B
✅ 归一化后,余弦相似度在数值上与点积完全相等。
二、欧氏距离与点积的单调关系
展开欧氏距离:
d_e = ‖A - B‖ = sqrt(A·A - 2(A·B) + B·B)
代入 A·A = 1,B·B = 1:
d_e = sqrt(2 - 2(A·B)) = sqrt(2(1 - A·B))
✅ d_e 是 A·B 的单调递减函数:A·B 越大,d_e 越小。
三、「铁三角」等价关系
归一化后,三种度量在 Top-K 排序上完全等价:
| 度量方式 | 最相似 = ? |
|---|---|
| 余弦相似度 | 值最大 |
| 点积 | 值最大 |
| 欧氏距离 | 值最小 |
最大余弦相似度 ⟺ 最大点积 ⟺ 最小欧氏距离
工程意义
- 检索时只算点积,避免每次除以模长,可用矩阵乘法批量加速
- 很多索引(IVF-PQ、HNSW)原生基于欧氏距离,归一化后可直接复用来做余弦检索
- Faiss、Milvus 等向量库的常见实践:离线归一化 + 在线点积
⚠️ 不适合归一化的场景
- 需要用向量长度表达额外语义时(如文档热度、用户活跃度)
- 使用 MIPS(最大化内积搜索)且有意保留量级差异时
归一化 = 只保留方向,大小信息永久丢失。