召回率、精确率与 F1 的直觉
拖动紫色阈值线,观察同一个动作如何同时改变两个指标——它们被绑在同一根绳子上,无法独立优化。
检索系统 — 相关性得分空间
场景:
① 完全分离
② 中间过渡
③ 完全重叠
阈值 0.50
← 未检索 · 得分 0.0
← 相关性得分(低→高)→
得分 1.0 · 已检索 →
阈值
0.50
召回率 Recall
TP / (TP+FN) = –/–
–%
精确率 Precision
TP / (TP+FP) = –/–
–%
F1 调和平均
2·R·P/(R+P) = –
–%
混淆矩阵
已检索(B圈内)
未检索(B圈外)
相关(A圈内)
TP 真正例
–
正确命中 = C区域
FN 假负例
–
漏掉的相关文档
无关(A圈外)
FP 假正例
–
误捞的无关噪声
TN 真负例
–
正确排除的噪声
当前阈值的代价 — 调和平均为何比算术平均更严苛
漏掉的相关文档 FN
–
↑ 召回率损失:这些本该找到却遗漏了
误捞的无关噪声 FP
–
↑ 精确率损失:这些不相关却混进结果里
F1 调和平均 vs 算术平均——对极端的惩罚
算术平均 (R + P) / 2
–%
允许一高一低互相稀释
F1 调和平均 2RP / (R+P)
–%
任意一个极低,整体骤降
差距 = 调和平均对"短板"施加的额外惩罚
差距 –%
移动阈值线,观察两个代价如何此消彼长。