幻觉率、准确率、拒答率联合评估
大模型可靠性评估不能割裂看单一指标,幻觉率、准确率与拒答率本质上是「不可能三角」,此消彼长、不可同时拉满。联合评估需先对齐统计口径,再通过「有效准确率→权衡曲线→场景化加权」三层方法找到最贴合业务的平衡点。
三个指标的标准定义与统一口径
三个指标绝对不能直接凑在一起比。口径不一样的数字没有对比意义,甚至可能是刻意做的营销陷阱(用口径差把数字「调好看」是最常见的套路)。
第一步:对齐分母
# oooeval_protocol.py
# 统一口径后才能横比
denom = valid_questions()
denom = answered_samples()
refusal = 1 - answered / valid # 口径对齐
assert comparable(refusal, accuracy, hallucination)标准定义① · 拒答率
核心先看分母: 必须是「有明确答案、模型本该回答」的有效问题总数。
不该进分母的三类:本身无答案的问题、恶意诱导的问题、超范畴的问题。
注意正确拒答是能力体现:对不该答的问题正确拒答不算负面拒答,不该计进分子。很多厂商宣传「拒答率低」,其实分母里塞了一堆不该答的问题,纯数字游戏。
公式:
拒答率 = 拒答的有效问题数 / 有明确答案的有效问题总数
↑ 分母写错,全盘皆错
标准定义②③ · 准确率 & 幻觉率
两者统计口径相同:只看「模型已给出回答的样本」(拒答样本不进这个池子)。
- 准确率: 已回答样本里,事实完全正确、无虚构内容所占比例。(统计「答对了多少」)
- 幻觉率: 已回答样本里,出现事实错误、编造信息、错误引用所占比例。
严谨口径下:已回答样本里 准确率 + 幻觉率 ≈ 1。更专业的评估会分档加权。
不可能三角:三者此消彼长的底层逻辑
三者天然此消彼长,不存在同时拉满的模型。
| 策略方向 | 机制 | 副作用 |
|---|---|---|
| 想压幻觉率、提准确率 | 需要对不确定内容更保守,不敢随便输出 | 拒答率自然上去(宁可不答也不答错) |
| 反过来压拒答率 | 什么问题都接 | 对没把握的内容强行生成 → 幻觉率自然高 |
脱离另外两个指标单说某一个好不好,全是片面的。评估目标不是找单项最高,而是找取舍最符合业务的档位。
反例对比: 准确率95%但拒答率60%的模型 vs. 准确率70%但几乎有问必答的模型,哪个实际可靠性更强?很多人直觉选前者,但实际场景恰恰相反——单看准确率吊打,综合用起来能解决的问题不到对方的一半。
三层联合评估法
面试回答框架:条理清晰还显深度。
# ooo_reliability_eval.py
def joint_eval(model):
# 第1层:综合实用价值
score = acc * (1 - refusal) # 有效准确率
# 第2层:校准效率
curve = tradeoff(temp, thresh) # 权衡曲线
# 第3层:业务适配
w = scene_weight(scene) # 场景化加权
return score * w, curve第一层:有效准确率(谁更能解决问题?)
行业最通用的综合指标,把拒答率的惩罚也算进去。
公式: 有效准确率 = 回答内准确率 × (1 - 拒答率)
案例对比:
- 模型A:回答准确率95%,拒答率60%(十个问题六个不敢说)→ 有效准确率 = 95% × 40% = 38%
- 模型B:回答准确率70%,拒答率10%(几乎有问必答)→ 有效准确率 = 70% × 90% = 63%
结论:单看准确率A吊打B,但实际用起来B能解决的问题几乎是A的两倍,综合可靠性反而更强。
第二层:权衡曲线(判断校准效率)
进阶加分项,说出来面试官眼前一亮。
获取方式: 调整推理温度、事实校验阈值、保守程度等「旋钮」,得到不同拒答率下的准确率和幻觉率,连起来即得曲线。类似ROC曲线,同一套读法。
解读:
- 越靠左上 = 校准效率越高: 拒答的都是真不会的,每多拒答一点,准确率涨一大截。
- 曲线平缓靠右 = 校准能力差: 就算大量拒答,准确率也没明显提升。本质是不敢答和答不准混在一起,没有区分度。
曲线形状是对齐之后的关键观测量。
第三层:场景化加权(判断业务适配性)
前提:没有「通用的最优比例」。脱离业务场景谈指标好坏全是空谈。同一个模型,场景不同最优取舍完全不同。
| 场景类型 | 典型领域 | 第一红线/核心 | 取舍策略 |
|---|---|---|---|
| 高风险 | 医疗/法律/金融投研 | 幻觉率 | 必须压到极低,哪怕拒答率高一点也无所谓 |
| 平衡型 | 企业知识库/标准客服 | 追求最高有效准确率 | 幻觉率可控前提下,尽量降低拒答率,找最佳平衡点 |
| 低风险 | 日常闲聊/创意生成 | 拒答率(核心体验指标) | 优先保证有问必答;非关键信息小偏差可容忍;在幻觉率压住的前提下把拒答率一起拉低 |
一句话记忆:少拒答 / 少幻觉 两端取舍取决于场景风险。
常见评估误区
也是面试里反向输出的加分亮点——说出来面试官就知道你真做过评估。三个误区共同点:都在「动口径、藏指标、混等级」。
| 误区 | 具体表现 |
|---|---|
| 偷换拒答率分母 | 把不该答的问题算进去压低数值,是最常见的营销套路 |
| 只晒单一指标 | 只说准确率不提拒答率,或只说拒答率低不提幻觉率,都是片面的 |
| 混淆幻觉等级 | 把轻微表述偏差和严重事实错误混为一谈,评估结果根本不准 |
速查表
公式速记
拒答率 = 拒答的有效问题数 / 有明确答案的有效问题总数
有效准确率 = 回答内准确率 × (1 - 拒答率)
已回答样本中:准确率 + 幻觉率 ≈ 1
答题逻辑口诀(面试四步走)
- 对齐口径 → 三个指标的标准定义与统计口径
- 讲三角 → 三者的不可能三角权衡关系
- 三层方法 → 有效准确率 / 权衡曲线 / 场景适配
- 点误区 → 口径/定义 → 三层分析法 → 误区+取舍
口径统一→数字才有意义;三个一起看→才知道权衡;按场景加权→才有最优解。
相关笔记
- RAG评估框架 — RAG 全生命周期评估
- RAGAS 评估数据准备与指标详解 — RAGAS 指标口径与数据准备
- 3分类评估指标对比(交互工具) — 分类指标:Macro / Weighted / Micro
- AB 实验:设计与显著性检验 — 线上实验侧的显著性判断