幻觉率、准确率、拒答率联合评估

大模型可靠性评估不能割裂看单一指标,幻觉率、准确率与拒答率本质上是「不可能三角」,此消彼长、不可同时拉满。联合评估需先对齐统计口径,再通过「有效准确率→权衡曲线→场景化加权」三层方法找到最贴合业务的平衡点。


三个指标的标准定义与统一口径

三个指标绝对不能直接凑在一起比。口径不一样的数字没有对比意义,甚至可能是刻意做的营销陷阱(用口径差把数字「调好看」是最常见的套路)。

第一步:对齐分母

# oooeval_protocol.py
# 统一口径后才能横比
denom = valid_questions()
denom = answered_samples()
refusal = 1 - answered / valid   # 口径对齐
assert comparable(refusal, accuracy, hallucination)

标准定义① · 拒答率

核心先看分母: 必须是「有明确答案、模型本该回答」的有效问题总数。

不该进分母的三类:本身无答案的问题、恶意诱导的问题、超范畴的问题。

注意正确拒答是能力体现:对不该答的问题正确拒答不算负面拒答,不该计进分子。很多厂商宣传「拒答率低」,其实分母里塞了一堆不该答的问题,纯数字游戏。

公式:

拒答率 = 拒答的有效问题数 / 有明确答案的有效问题总数
↑ 分母写错,全盘皆错

标准定义②③ · 准确率 & 幻觉率

两者统计口径相同:只看「模型已给出回答的样本」(拒答样本不进这个池子)。

  • 准确率: 已回答样本里,事实完全正确、无虚构内容所占比例。(统计「答对了多少」)
  • 幻觉率: 已回答样本里,出现事实错误、编造信息、错误引用所占比例。

严谨口径下:已回答样本里 准确率 + 幻觉率 ≈ 1。更专业的评估会分档加权。


不可能三角:三者此消彼长的底层逻辑

三者天然此消彼长,不存在同时拉满的模型。

策略方向机制副作用
想压幻觉率、提准确率需要对不确定内容更保守,不敢随便输出拒答率自然上去(宁可不答也不答错)
反过来压拒答率什么问题都接对没把握的内容强行生成 → 幻觉率自然高

脱离另外两个指标单说某一个好不好,全是片面的。评估目标不是找单项最高,而是找取舍最符合业务的档位。

反例对比: 准确率95%但拒答率60%的模型 vs. 准确率70%但几乎有问必答的模型,哪个实际可靠性更强?很多人直觉选前者,但实际场景恰恰相反——单看准确率吊打,综合用起来能解决的问题不到对方的一半。


三层联合评估法

面试回答框架:条理清晰还显深度。

# ooo_reliability_eval.py
def joint_eval(model):
    # 第1层:综合实用价值
    score = acc * (1 - refusal)          # 有效准确率
    
    # 第2层:校准效率
    curve = tradeoff(temp, thresh)       # 权衡曲线
    
    # 第3层:业务适配
    w = scene_weight(scene)              # 场景化加权
    return score * w, curve

第一层:有效准确率(谁更能解决问题?)

行业最通用的综合指标,把拒答率的惩罚也算进去。

公式: 有效准确率 = 回答内准确率 × (1 - 拒答率)

案例对比:

  • 模型A:回答准确率95%,拒答率60%(十个问题六个不敢说)→ 有效准确率 = 95% × 40% = 38%
  • 模型B:回答准确率70%,拒答率10%(几乎有问必答)→ 有效准确率 = 70% × 90% = 63%

结论:单看准确率A吊打B,但实际用起来B能解决的问题几乎是A的两倍,综合可靠性反而更强。

第二层:权衡曲线(判断校准效率)

进阶加分项,说出来面试官眼前一亮。

获取方式: 调整推理温度、事实校验阈值、保守程度等「旋钮」,得到不同拒答率下的准确率和幻觉率,连起来即得曲线。类似ROC曲线,同一套读法。

解读:

  • 越靠左上 = 校准效率越高: 拒答的都是真不会的,每多拒答一点,准确率涨一大截。
  • 曲线平缓靠右 = 校准能力差: 就算大量拒答,准确率也没明显提升。本质是不敢答和答不准混在一起,没有区分度。

曲线形状是对齐之后的关键观测量。

第三层:场景化加权(判断业务适配性)

前提:没有「通用的最优比例」。脱离业务场景谈指标好坏全是空谈。同一个模型,场景不同最优取舍完全不同。

场景类型典型领域第一红线/核心取舍策略
高风险医疗/法律/金融投研幻觉率必须压到极低,哪怕拒答率高一点也无所谓
平衡型企业知识库/标准客服追求最高有效准确率幻觉率可控前提下,尽量降低拒答率,找最佳平衡点
低风险日常闲聊/创意生成拒答率(核心体验指标)优先保证有问必答;非关键信息小偏差可容忍;在幻觉率压住的前提下把拒答率一起拉低

一句话记忆:少拒答 / 少幻觉 两端取舍取决于场景风险。


常见评估误区

也是面试里反向输出的加分亮点——说出来面试官就知道你真做过评估。三个误区共同点:都在「动口径、藏指标、混等级」。

误区具体表现
偷换拒答率分母把不该答的问题算进去压低数值,是最常见的营销套路
只晒单一指标只说准确率不提拒答率,或只说拒答率低不提幻觉率,都是片面的
混淆幻觉等级把轻微表述偏差和严重事实错误混为一谈,评估结果根本不准

速查表

公式速记

拒答率 = 拒答的有效问题数 / 有明确答案的有效问题总数
有效准确率 = 回答内准确率 × (1 - 拒答率)
已回答样本中:准确率 + 幻觉率 ≈ 1

答题逻辑口诀(面试四步走)

  1. 对齐口径 → 三个指标的标准定义与统计口径
  2. 讲三角 → 三者的不可能三角权衡关系
  3. 三层方法 → 有效准确率 / 权衡曲线 / 场景适配
  4. 点误区 → 口径/定义 → 三层分析法 → 误区+取舍

口径统一→数字才有意义;三个一起看→才知道权衡;按场景加权→才有最优解。


相关笔记