多分类样本不均衡处理

一句话

把一次围绕「多分类项目 + 样本不均衡」的连续追问,重组成一条从训练侧 → 标签侧 → 稀疏类别 → 评估侧 → 上线校准的完整链路。全程围绕同一个核心矛盾:训练分布 ≠ 线上分布。

核心结论(自己的话)

  1. 均衡只作用在训练集——验证/测试集必须保持真实分布,否则评估失真。
  2. 训练侧改损失(加权 CE / Focal / Logit Adjustment)比硬重采样更稳;类别权重首选逆频率 。
  3. 标签侧先分清「0」的含义——真负样本要保留,只有标注缺失才 mask;单标签用 ignore_index(样本级),多标签用元素级 Loss Mask。
  4. 稀疏类别:训练样本为 0 的类,任何 loss 技巧都救不了——只能补数据 / 从输出层去掉 / 接受并监控。
  5. 评估侧主指标用 Macro-F1(每类等权);Micro-F1 在单标签下等于 Accuracy,会被多数类淹没。
  6. 上线侧必须做概率校准(先验修正 / Platt / Isotonic / 温度缩放),把概率还原到线上真实先验;只用 argmax 标签则影响较小。

🗺️ 全景地图

阶段要解决的问题主要手段对应章节
训练侧少数类学不好加权 CE · Focal Loss · Logit Adjustment · 重采样/增强 · 代价矩阵§二
标签侧无效标签 / 缺失标注污染 lossignore_index(单标签)· 元素级 Loss Mask(多标签)§三
稀疏类别某些类样本极少或为 0补数据 · 移除类 · 分层/规则兜底 · 监控§四
评估侧指标被多数类淹没Macro-F1 为主,Weighted/Micro 为辅,逐类 P/R/F1 兜底§五
上线侧训练先验 ≠ 线上先验先验修正 · Platt · Isotonic · 温度缩放 · 阈值调整 · 线上监控§六

一、要不要做均衡?先判断

结论:通常需要,但要分情况。

1.1 需要做均衡的场景

场景说明
类别间样本量差距大(如 10:1 以上)少数类容易被模型忽略
少数类业务价值高如欺诈检测、罕见病诊断,漏判代价大
评估指标关注 Macro-F1 / 每类召回不均衡会严重拉低少数类指标
模型对类别分布敏感如逻辑回归、SVM、神经网络

1.2 不一定需要做均衡的场景

  • 类别差距不大(如 2:1 以内),且评估指标是 Accuracy 或 Micro-F1
  • 树模型 + 类别权重:XGBoost/LightGBM 的 class_weight / scale_pos_weight 已经能较好处理
  • 数据量极大:多数类本身已提供充分信息,强行欠采样会丢信息

1.3 均衡手段总览(按推荐优先级)

  1. 类别权重(class_weight) — 改动最小,不增删样本,首选
  2. Focal Loss — 深度学习场景,让模型聚焦难样本
  3. 过采样 + 增强 — 少数类 SMOTE / ADASYN / 数据增强
  4. 欠采样 — 多数类多时可用,但会丢信息
  5. 混合采样 — SMOTE + Tomek Links 等

关键原则

均衡只能作用在训练集上,验证集和测试集必须保持真实分布,否则评估结果会失真。


二、训练侧:损失函数怎么做

核心思路:让少数类的错误被放大、多数类的错误被缩小。

2.1 加权交叉熵(Weighted CE)

公式

对单样本 ,真实类别为 ,预测概率为 :

权重怎么设

公式特点
标准逆频率,样本越少权重越大
平方根逆频率,缓解极端权重
有效样本数(Class-Balanced Loss),长尾友好,,常用 0.999
手动设定按业务代价,如漏判少数类代价是多数类 10 倍,就设

逆频率公式详解 weights = counts.sum() / (len(counts) * counts)

设 counts = [N_1, ..., N_C], 为类别数, 为总样本数,则 :

  • = 平均每类样本数; = 平均每类样本数 ÷ 第 类样本数 → 样本越少权重越大
  • 为什么要除以 :不除 时 ,权重整体偏大(例 [1.11, 11.1, 111]),要重调学习率;除以 后权重量级接近 1,学习率更稳

数值例子(counts = [1000, 100, 10],):
w = [0.37, 3.70, 37.0] → 少数类每个样本在 loss 里被放大 37 倍,多数类被缩小到 0.37 倍。

⚠️ 极少数类(如 )会导致权重爆炸,建议 torch.clamp(weights, max=...)。

PyTorch 实现

import torch
import torch.nn as nn
 
# 方式1:直接用 weight 参数
class_counts = torch.tensor([1000, 100, 10], dtype=torch.float)
weights = class_counts.sum() / (len(class_counts) * class_counts)  # 逆频率
weights = torch.clamp(weights, max=50.0)   # 防止极少数类权重爆炸
criterion = nn.CrossEntropyLoss(weight=weights)
 
# 方式2:手动计算(想按类别平均而非按样本加权时)
def weighted_ce(logits, targets, weights):
    log_probs = torch.log_softmax(logits, dim=1)
    loss = -log_probs.gather(1, targets.unsqueeze(1)).squeeze()
    w = weights[targets]
    return (w * loss).mean()

注意

nn.CrossEntropyLoss(weight=...) 内部会做 mean,等价于按样本数加权平均。想按类别平均,需 reduction='none' 后自行处理。

2.2 Focal Loss(聚焦难样本)

动机:加权 CE 对所有该类样本一视同仁,但多数类里有大量容易样本,它们累加的 loss 仍然主导梯度。

公式:

  • :聚焦参数,常用 2; 退化为加权 CE
  • :类别权重,处理不均衡
  • :调制因子——样本越容易(),权重越小

直观例子():

样本相对 CE 的缩放
极易0.950.0025缩小 400 倍
容易0.80.04缩小 25 倍
中等0.50.25缩小 4 倍
难0.20.64缩小 1.6 倍
极难0.050.90几乎不变

代码:

import torch
import torch.nn as nn
import torch.nn.functional as F
 
class FocalLoss(nn.Module):
    def __init__(self, alpha=None, gamma=2.0, reduction='mean'):
        super().__init__()
        self.alpha = alpha      # [C] 类别权重(多分类时是向量)
        self.gamma = gamma
        self.reduction = reduction
 
    def forward(self, logits, targets):
        log_probs = F.log_softmax(logits, dim=1)
        log_pt = log_probs.gather(1, targets.unsqueeze(1)).squeeze(1)
        pt = log_pt.exp()
        loss = -(1 - pt) ** self.gamma * log_pt
        if self.alpha is not None:
            loss = self.alpha[targets] * loss
        return loss.mean() if self.reduction == 'mean' else loss.sum()

适用与注意:

适用不适用
极不均衡(如 100:1)类别均衡
目标检测(原论文场景)噪声标签多(会聚焦噪声)
难样本有业务价值需要精确概率(Focal 会扭曲概率)
  • 和 要一起调, 大了 影响变小
  • Focal 输出的概率偏离真实先验,下游要用概率必须校准
  • 多分类 Focal 的 是向量,原论文是二分类

2.3 Logit Adjustment(训练推理一致)

动机:重采样会改变先验导致概率偏移。Logit Adjustment 在训练时就把先验信息加进 logits,让模型学到的分数天然对齐真实先验。

公式:

训练时:

推理时:

其中 是训练集类先验, 是温度超参。

实现:

def logit_adjustment_loss(logits, targets, train_prior, tau=1.0, weight=None):
    adjusted = logits + tau * torch.log(train_prior + 1e-12)
    return F.cross_entropy(adjusted, targets, weight=weight)
 
# 推理时用真实先验
def predict(logits, real_prior, tau=1.0):
    adjusted = logits + tau * torch.log(real_prior + 1e-12)
    return adjusted.argmax(dim=1)

这是目前处理不均衡最优雅的方法之一,兼顾训练和推理一致性。

2.4 其他损失方案

Class-Balanced Loss(用有效样本数代替逆频率,适合长尾):

def class_balanced_weights(counts, beta=0.999):
    effective_num = 1.0 - torch.pow(beta, counts)
    weights = (1.0 - beta) / effective_num
    return weights / weights.sum() * len(counts)

LDAM Loss(Label-Distributed Aware Margin,给少数类更大的分类间隔,):

代价敏感矩阵(不同类误判代价不同时, = 真实 预测成 的代价):

比单纯类别加权更通用。重采样 + 普通 CE 则是数据层面均衡,缺点是推理时仍需先验修正(见 §6.3)。

2.5 方法对比与选择

方法优点缺点适用场景
加权 CE简单、稳定易分样本仍主导通用首选
Focal Loss聚焦难样本多分类调参麻烦极不均衡、检测
Logit Adjustment训练推理一致、理论优雅需要知道先验长尾分类
Class-Balanced长尾友好需调 长尾分布
LDAM学得更开实现稍复杂长尾分类
代价矩阵贴合业务需定义代价代价敏感业务

推荐组合:

  1. 入门:逆频率加权 CE
  2. 进阶:Focal Loss + 权重
  3. 长尾/研究:Logit Adjustment 或 LDAM + 重采样
  4. 业务代价明确:代价矩阵

2.6 几个关键坑

  1. 权重归一化:nn.CrossEntropyLoss(weight=w) 不要求 归一化,但归一化后学习率更稳定
  2. 验证集不要加权:用真实分布验证集 + 普通 CE 或 Macro-F1 评估
  3. Focal Loss 的 和 要一起调: 大了 影响变小
  4. 概率偏移:任何重采样/加权都会让输出概率偏离真实先验,下游要用概率必须校准(§六)
  5. 多分类 Focal 的 :原论文是二分类,多分类时 是向量,需自己扩展

三、标签侧:无效标签 / 缺失标注怎么 mask

目的:让「未提及标签」(Padding、被截断/无效标签、不属于当前任务的样本)在计算损失时被完全忽略,不对梯度产生任何贡献。

3.1 先分清「0」是什么(决定一切)

同样是「0」,含义不同,处理方式完全相反:

「0」的含义本质是否该忽略
类别真的不存在该标签该样本不属于这个类,是合法的负样本不能忽略,这是有效监督信号
类别标注缺失(未提及)标注员没标,不代表不存在可以忽略,但会丢信息
类别永远不会出现业务上该类别已废弃 / 不可能可以从输出层去掉
Padding / 无效占位非真实样本应该忽略

最常见的误区

把「多标签里没提到的类」当成「负样本」。如果做的是单标签 18 分类,每个样本只属于 1 个类,其他 17 个类天然是负类,不存在「未提及」问题——这种情况根本不该用 ignore_index。只有多标签或标注不完整场景,才存在「未提及 ≠ 负样本」。

3.2 单标签:ignore_index

原理:PyTorch CrossEntropyLoss 的 ignore_index 指定一个特殊目标值(默认 -100),标签等于该值时损失乘 0,被排除在反向传播外:

reduction='mean' 时,分母也是 ——被忽略的样本既不在分子也不在分母。

import torch
import torch.nn as nn
 
targets = torch.tensor([0, -100, 2])   # 第 2 个样本是 padding,设为 -100
logits = torch.randn(3, 4)             # 3 个样本,4 个类别
 
criterion = nn.CrossEntropyLoss(ignore_index=-100)
loss = criterion(logits, targets)      # 只有样本 1、3 参与

NLP 中极常见:语言模型训练时 padding token 的标签设为 -100。

ignore_index 的取值

默认 -100,但不强制——可指定任何整数。且这个值不需要在类别范围 内,所以可以安全用 -100 / -1 标记「忽略」而不与真实类别混淆。

3.3 多标签:Loss Mask

数据形态:一个样本的标签是长度为 的 0/1 向量。

样本1: [1, 0, 0, 1, 0, ..., 0]  # 属于类1和类4
样本2: [0, 0, 0, 0, 1, ..., 0]  # 只属于类5

问题:那些 0,是「确定不属于」还是「没标注」?

0 的含义处理
明确负样本保留,参与 loss
标注缺失(未提及)mask 掉,不参与 loss
paddingmask 掉

若无法区分,通常假设「未提及 = 缺失」,只对明确标注为正的类计算 loss——但这样会丢失负样本信息。

三种实现方式

方式一:样本级 mask(整个样本忽略;适用于标注完全不可靠的样本)

def sample_level_masked_bce(logits, targets, valid_mask):
    """valid_mask: [N] bool,True 表示该样本有效"""
    loss_per_sample = F.binary_cross_entropy_with_logits(
        logits, targets, reduction='none'
    ).mean(dim=1)                      # [N]
    loss_per_sample = loss_per_sample * valid_mask.float()
    return loss_per_sample.sum() / valid_mask.sum().clamp(min=1)

方式二:元素级 mask(每个标签位置单独忽略)——最常用

def element_level_masked_bce(logits, targets, label_mask):
    """label_mask: [N, C] bool,True 表示该位置标签有效"""
    loss_per_element = F.binary_cross_entropy_with_logits(
        logits, targets, reduction='none'
    )                                  # [N, C]
    loss_per_element = loss_per_element * label_mask.float()
    return loss_per_element.sum() / label_mask.sum().clamp(min=1)

方式三:只用正样本 + 负采样(正样本极少、全量负样本太多时)

label_mask = (targets == 1)            # 只用正样本
# 或:正样本 + 随机采样的负样本

完整示例:多标签 + 缺失标注 + 不均衡

class MaskedBCELoss(nn.Module):
    def __init__(self, pos_weight=None):
        super().__init__()
        self.pos_weight = pos_weight    # [C] 每个类的正样本权重
 
    def forward(self, logits, targets, label_mask):
        loss = F.binary_cross_entropy_with_logits(
            logits, targets, reduction='none', pos_weight=self.pos_weight
        )                               # [N, C]
        loss = loss * label_mask.float()
        return loss.sum() / label_mask.sum().clamp(min=1)
 
pos_weight = torch.tensor([...])        # 每类的负正比,处理不均衡
criterion = MaskedBCELoss(pos_weight=pos_weight)
loss = criterion(model(x), targets, label_mask)

mask 怎么构造

情况做法
标注平台明确给出「已标注/未标注」直接用平台返回的 label_mask
只给了正样本,其余全是「未提及」label_mask = (targets == 1),或正样本 + 随机采样负样本
全部标注完整label_mask = torch.ones_like(targets, dtype=torch.bool)

注意事项

注意点说明
mask 的位置不参与 loss,也不参与分母否则会稀释有效信号
pos_weight 仍可叠加处理正负样本不均衡
推理时不用 mask对所有类都输出概率,再 argmax / 阈值判定
未标注 ≠ 负样本mask 掉不代表模型学会「不是这个类」
未标注类线上会出现模型可能漏判,需要监控
mask 比例过高有效信号太少,训练不充分,考虑补标

上线预测

probs = torch.sigmoid(model(x))         # 每个类独立概率
 
pred = (probs > 0.5).int()              # 方式1:固定阈值
pred = (probs > thresholds).int()       # 方式2:每类调阈值(在真实分布验证集上调)
topk_probs, topk_idx = probs.topk(k=3, dim=1)   # 方式3:Top-K

3.4 CE vs BCE:任务与 mask 粒度

维度CrossEntropy (CE)BinaryCrossEntropy (BCE)
任务单标签多分类多标签分类
输出softmax,各类概率和为 1sigmoid,各类独立概率
类别关系互斥可共存
公式
标签形态整数 [0, 2, 1]0/1 向量(如 [1,0,1])
不均衡处理weight(每类权重)pos_weight(正样本权重)
ignore_index 粒度样本级(整个样本忽略)元素级(单个标签位置忽略)

关键差异:

  • 梯度行为:CE 的 softmax 让类间竞争(提高一类压低其他类);BCE 各类独立,提高一类不影响其他类
  • 这就是为什么多标签缺失标注要用 BCE + 元素级 mask——CE 的 ignore_index 是样本级,无法只忽略某几个标签位置
# CE:单标签
logits = model(x)                        # [N, 18]
targets = torch.tensor([0, 3, 5])        # 每个样本一个类
loss = F.cross_entropy(logits, targets, weight=class_weights)
 
# BCE:多标签
targets = torch.tensor([[1,0,0,1,...], ...])   # 0/1 向量
loss = F.binary_cross_entropy_with_logits(logits, targets, pos_weight=pos_weights)

能否互换:

场景能否用 CE能否用 BCE
单标签互斥✅ 标准⚠️ 可用但浪费(需 one-hot)
多标签共存❌ 不行✅ 标准
单标签但类别多✅⚠️ 计算量大

单标签用 CE,多标签用 BCE,这是标准做法。 多标签不能用 CE,因为 softmax 假设类别互斥、概率和为 1;多标签里一个样本可同时属于多个类,用 CE 会强制模型在类间做选择,丢失共存信息。

不均衡下的选择:

场景损失不均衡处理
单标签不均衡CEweight 逆频率 / Focal
多标签不均衡BCEpos_weight + mask
多标签缺失标注BCE元素级 mask + pos_weight

四、稀疏类别:18 类里很多类为 0 / 个别类极少

核心担心:训练时 mask 掉大量「0 样本类别」,会不会导致模型学不会这些类、上线预测不出?

4.1 训练样本为 0 的类会怎样

  • 模型从未见过这些类,输出层对应神经元梯度始终为 0(或只有负梯度)
  • 上线后这些类的 logit 通常极小,几乎永远不会被 argmax 选中;即使选中也是随机噪声

核心问题不是「mask 会不会影响」,而是「没有数据怎么学」:

处理方式说明
去掉这些类业务确认不会出现,直接从 18 类改成实际存在的类
补充数据最根本的解法,哪怕少量样本
零样本 / 小样本迁移用类别语义(如文本描述)做 embedding 匹配
设置先验 / 阈值给这些类一个基础分,但效果有限
保留但接受预测不出明确业务上这些类线上极少,漏判可接受

关键

如果某个类训练集为 0,任何 loss 技巧都救不了它。 ignore_index 只是「不计算」,不会「无中生有」。

4.2 ignore_index / mask 对预测类别数的影响

影响说明
输出层维度不变ignore_index 只影响损失计算,不改模型结构,输出仍是 18 维,argmax 仍在 18 类里选 → 预测类别数量不会变
被忽略的类学不到东西某类样本训练中全被 mask → 该神经元几乎无有效梯度,logit 停在初始化附近 → 上线基本不会被预测到。真正要担心的不是类别数变了,而是某些类「名存实亡」
概率分布被扭曲大量忽略样本 → 学到的先验 ≠ 线上真实先验 → 输出概率偏移,下游要用概率需校准

4.3 上线预测 18 类的三种情况

情况结论
A:18 类都有训练数据,只是不均衡用 class_weight / Focal 处理即可,不要用 ignore_index 忽略少数类(等于主动放弃),上线正常
B:部分类训练样本为 0这些类上线基本预测不出来。业务必须识别 → 必须补数据;业务极少出现 → 可接受但要监控
C:多标签,大量标签「未提及」用 mask 合理,但注意忽略 ≠ 负样本,模型只是不学,上线遇到这些类真实出现可能漏判

4.4 单标签个别类极少:怎么做

先判断:要不要移除?

判断维度倾向保留倾向移除
业务价值该类漏判代价高该类无关紧要
样本量有几十~几百只有个位数且无法补充
可补充性能补数据/合成永远补不到
线上出现频率线上会出现线上几乎不出现
  • 有业务价值 + 能补数据 → 保留,补数据
  • 无业务价值 + 线上不出现 → 移除,缩小类别数
  • 有业务价值 + 样本极少 + 补不到 → 保留但特殊处理

移除的代价

一旦线上真的出现该类,模型永远预测不出,且会误判成其他类。

不移除时,训练阶段怎么做

层面做法
损失逆频率加权(clamp 上限防权重爆炸)或 Focal Loss + 类别权重(§2.1 / §2.2)
数据过采样 · SMOTE/ADASYN · 数据增强(文本回译、图像变换)· 迁移学习
结构分层分类(先粗分大类再细分)· 二阶段(先判是否稀有类集合)· 共享表征
评估Macro-F1 为主 · 逐类看 P/R/F1 · 验证集保持真实分布不过采样
# 逆频率加权,但给极少数类设上限,避免权重爆炸
counts = torch.tensor([...])                      # 18 类样本数
weights = counts.sum() / (len(counts) * counts)
weights = torch.clamp(weights, max=50.0)
criterion = nn.CrossEntropyLoss(weight=weights)

处理姿势总结

1. 判断:业务价值 + 样本量 + 可补充性
2. 能补数据 → 补数据,这是最根本的
3. 不能补 → 保留 + 加权/Focal + 过采样/增强
4. 评估 → Macro-F1 + 逐类 P/R/F1
5. 上线 → 先验修正 / 温度校准 / 阈值调整   (见 §六)
6. 监控 → 预测分布 + 稀有类召回

上线监控

  • 监控预测分布:各类别预测占比 vs 真实占比
  • 监控每类召回:哪些类从来没被预测出来
  • 设置告警:某类连续 N 天预测数为 0 → 模型没学会

如果必须保留 18 类但部分类无数据

  • 分层预测:先判断是否属于「稀有类集合」,再细分
  • 规则兜底:模型预测不出的类,用业务规则补充
  • 阈值调整:给稀有类降低被判出的阈值(但会增假阳)

五、评估侧:用哪个 F1

5.1 基础:每类 P / R / F1

  • :真实为 且预测为 ;:真实不为 但预测为 ;:真实为 但预测不为
  • 多分类的 就是把每个类的 用不同方式聚合

5.2 三种聚合

Macro-F1(宏平均) —— 每类先算 F1 再直接平均,不考虑样本量:

  • 每个类权重相同,少数类表现和多数类一样重要
  • 对不均衡敏感:少数类 F1 低会显著拉低

Micro-F1(微平均) —— 先汇总所有类的 TP/FP/FN 再算全局:

  • 单标签多分类中:
  • 被多数类主导;多标签下 Micro-F1 ≠ Accuracy,更有意义

Weighted-F1(加权平均) —— 按样本量加权:

  • 样本多的类权重高,介于 Macro 和 Micro 之间

5.3 例子(样本数 1000 / 100 / 10,F1 分别 0.95 / 0.80 / 0.30)

指标计算结果
Macro-F1(0.95+0.80+0.30)/30.683 ← 少数类差,被拉低
Weighted-F10.901×0.95 + 0.090×0.80 + 0.009×0.30≈ 0.930
Micro-F1≈ Accuracy,主要被 A 主导≈ 0.93

5.4 三者对比

指标权重方式对不均衡单标签下 = Accuracy?关注点
Macro-F1每类等权敏感,少数类影响大否每类表现
Micro-F1按样本汇总不敏感,多数类主导是整体表现
Weighted-F1按类样本量加权较不敏感否,但接近折中
  • 类别均衡时:Macro ≈ Micro ≈ Weighted
  • 不均衡时:通常 Micro > Weighted > Macro

5.5 不均衡项目怎么选

  1. 主指标用 Macro-F1 —— 最能反映少数类是否被忽略
  2. 辅助看 Weighted-F1 / Micro-F1 —— 了解整体,避免为少数类牺牲太多多数类
  3. 同时看每类 P/R/F1 —— 只看聚合会掩盖问题,用 classification_report 逐类检查
  4. 结合业务代价 —— 漏判少数类代价高就看少数类 Recall;误判多数类代价高就看多数类 Precision
主指标:Macro-F1
辅指标:Weighted-F1、少数类 Recall
监控:每类 P/R/F1 + 混淆矩阵

陷阱

  • 不要只看 Accuracy/Micro-F1:不均衡时会被多数类主导,掩盖少数类崩掉
  • Macro-F1 也有陷阱:某类样本极少时其 F1 方差大,会剧烈影响 Macro-F1,需结合样本量看
  • 多标签任务:Micro-F1 ≠ Accuracy,此时 Micro 和 Macro 都有意义
from sklearn.metrics import f1_score, classification_report
 
macro = f1_score(y_true, y_pred, average='macro')
micro = f1_score(y_true, y_pred, average='micro')
weighted = f1_score(y_true, y_pred, average='weighted')
print(classification_report(y_true, y_pred, digits=4))

六、上线侧:概率校准

核心矛盾:训练分布 ≠ 线上分布,会导致预测概率偏移。

6.1 先明确:你要的是什么?

  • 只要类别标签(argmax) → 均衡训练通常影响不大,因为 argmax 对单调变换不敏感
  • 要校准的概率值 → 必须做概率校准

6.2 类别先验(Class Prior)是什么

类别先验就是实际类别占比:

概念含义例子
训练先验 训练集里各类占比过采样后少数类占比被抬高
线上真实先验 线上实际各类占比少数类只占 0.1%

为什么重要:对少数类过采样后(如 0.1% → 10%),模型输出概率偏向少数类;上线时线上还是 0.1%,概率就偏了。

怎么估计线上真实先验:历史线上数据统计 · 业务专家估计 · 小批量人工标注 · 至少用未经采样的验证集占比。

6.3 先验修正(Prior Correction)—— 最直接的校准

修正后再归一化:

def prior_correction(probs, train_prior, real_prior):
    """probs: [N, C];train_prior: [C] 训练时(过采样后)先验;real_prior: [C] 线上真实先验"""
    adjusted = probs * (real_prior / train_prior).unsqueeze(0)
    return adjusted / adjusted.sum(dim=1, keepdim=True)

6.4 Temperature Scaling —— 调概率,不改 argmax

  • :分布变平缓;:变尖锐;:不变
  • 让概率更接近真实置信度,不改变 argmax 结果(除以同一个 ,排序不变)
class TemperatureScaler(nn.Module):
    def __init__(self):
        super().__init__()
        self.T = nn.Parameter(torch.ones(1))
    def forward(self, logits):
        return logits / self.T
 
# 在验证集上优化 T(LBFGS)
scaler = TemperatureScaler()
optimizer = optim.LBFGS([scaler.T], lr=0.01)
criterion = nn.CrossEntropyLoss()
 
def closure():
    optimizer.zero_grad()
    loss = criterion(scaler(val_logits), val_labels)
    loss.backward()
    return loss
 
optimizer.step(closure)

Temperature Scaling vs 阈值调整

维度Temperature Scaling阈值调整
改什么概率值本身决策边界
改 argmax?不改(单标签)改
目的概率校准调召回/精度平衡
适用下游要用概率下游只用标签
参数1 个全局 每类一个阈值

直观理解:

原始 logits: [5, 3, 1]
T=1:   softmax → [0.84, 0.11, 0.04]   argmax=类1
T=5:   softmax → [0.45, 0.30, 0.25]   argmax=类1(不变,概率更平)
T=0.5: softmax → [0.98, 0.02, 0.00]   argmax=类1(不变,更尖)

无论 怎么变,类1 始终最大,但概率值变化很大。

  • 下游只用类别标签 → 阈值调整更直接
  • 下游要用概率(排序、融合、风控)→ Temperature Scaling 必须做

6.5 Platt Scaling —— sigmoid 拟合

要解决:模型输出概率不是真实概率(说 80% 置信,实际可能只有 60% 对)。

为模型原始输出, 在验证集上用最大似然拟合(本质是在模型输出上再训一个逻辑回归)。

from sklearn.linear_model import LogisticRegression
 
platt = LogisticRegression()
platt.fit(val_scores.reshape(-1, 1), val_labels)
calibrated = platt.predict_proba(new_scores.reshape(-1, 1))[:, 1]

多分类不能直接套,两种做法:

# 方式一:One-vs-Rest
from sklearn.multiclass import OneVsRestClassifier
platt_ovr = OneVsRestClassifier(LogisticRegression())
platt_ovr.fit(val_scores, val_labels_onehot)
calibrated = platt_ovr.predict_proba(test_scores)
 
# 方式二:先 softmax 再逐类校准,最后重新归一化
probs = F.softmax(logits, dim=1)
calibrated = np.zeros_like(probs)
for k in range(C):
    lr = LogisticRegression()
    lr.fit(probs[:, k].reshape(-1, 1), (val_labels == k).astype(int))
    calibrated[:, k] = lr.predict_proba(probs[:, k].reshape(-1, 1))[:, 1]
calibrated = calibrated / calibrated.sum(axis=1, keepdims=True)
优点缺点
简单、参数少(2 个)假设 sigmoid 形状,可能不匹配
小样本也能拟合多分类要拆成多个二分类
稳定不易过拟合表达能力有限

6.6 Isotonic Regression —— 只假设单调

要解决:Platt 假设校准曲线是 sigmoid,但真实关系可能更复杂。Isotonic 不假设形状,只要求单调非减——把模型输出排序、分成若干段,每段用真实正例频率代替。

模型输出:  0.1  0.2  0.3  0.4  0.5  0.6  0.7  0.8  0.9
真实频率:  0.05 0.08 0.15 0.20 0.45 0.50 0.65 0.80 0.92
                ↑ 分段拟合,保证单调不减
from sklearn.isotonic import IsotonicRegression
 
iso = IsotonicRegression(out_of_bounds='clip')
iso.fit(val_scores, val_labels)
calibrated = iso.predict(test_scores)
 
# 多分类:One-vs-Rest
calibrated = np.zeros_like(probs)
for k in range(C):
    iso = IsotonicRegression(out_of_bounds='clip')
    iso.fit(probs[:, k], (val_labels == k).astype(int))
    calibrated[:, k] = iso.predict(probs[:, k])
calibrated = calibrated / calibrated.sum(axis=1, keepdims=True)
优点缺点
不假设形状,更灵活需要大量验证样本(几千+)
拟合真实频率容易过拟合
单调保证多分类要拆
适合复杂校准曲线外推差(超出训练范围)

6.7 Platt vs Isotonic

维度Platt ScalingIsotonic Regression
假设sigmoid 形状仅单调
参数量2 个分段,较多
样本需求少(几百)多(几千+)
过拟合风险低高
灵活性低高
外推好差

经验法则:验证集 < 1000 → Platt;> 1000 且曲线复杂 → Isotonic;不确定 → 先试 Platt。

6.8 阈值调整 —— 不校准概率,直接调决策

下游只用类别标签、不关心概率时,可直接给稀有类加偏置:

adjusted_logits = logits + bias        # bias[k] 对稀有类为正
pred = adjusted_logits.argmax(dim=1)

偏置大小在真实分布验证集上调,平衡稀有类召回和整体精度。

6.9 校准方法总览与选择

校准方法原理数据需求适用场景能否改 argmax
先验修正按先验比例调整概率知道训练和线上先验重采样/加权后可能改(各类缩放不同)
Temperature Scaling全局温度缩放真实分布验证集深度学习,概率偏移不改
Platt Scaling每类 sigmoid 拟合每类足够验证样本二分类/每类独立可能改
Isotonic Regression非参数单调拟合大量验证样本样本充足,概率校准可能改
阈值调整直接调决策边界真实分布验证集只用标签,调召回改
Logit Adjustment训练推理都加先验知道先验长尾,训练推理一致改

能都用吗?可以叠加,但要注意顺序:

1. 先验修正(处理重采样导致的偏移)
2. Temperature Scaling(校准概率置信度)
3. 阈值调整(调最终决策)

通常不需要全用:

需求推荐
只用标签,不关心概率阈值调整 / Logit Adjustment
要用概率,且做过重采样先验修正 + Temperature Scaling
概率要非常准先验修正 + Isotonic Regression
简单快速Temperature Scaling

决策树:

下游用概率吗?
├─ 否 → 阈值调整 或 Logit Adjustment
└─ 是 → 训练时重采样了吗?
        ├─ 是 → 先验修正 + Temperature Scaling
        └─ 否 → Temperature Scaling 或 Isotonic

6.10 三者定位:Focal vs Platt vs Isotonic

方法阶段目的作用对象
Focal Loss训练时让模型聚焦难样本、少数类损失函数
Platt Scaling训练后把输出概率校准成真实概率概率值
Isotonic Regression训练后同上,非参数、更灵活概率值
  • Focal 改的是模型怎么学;Platt / Isotonic 改的是模型学完之后,输出概率怎么解释
  • Platt / Isotonic 是单调变换,不改变 argmax 排序,只改概率值
  • Focal 会扭曲概率,用了 Focal 后概率校准更重要

典型配合流程:

1. 训练:Focal Loss 或加权 CE 处理不均衡
   ↓
2. 得到模型,但输出概率偏移
   ↓
3. 在真实分布验证集上校准:样本少 → Platt;样本多 → Isotonic;深度学习 → 温度缩放
   ↓
4. 下游用校准后的概率 或 调阈值出标签

6.11 线上监控与迭代

  • 监控预测分布:线上各类别预测占比 vs 真实占比,偏差大说明校准有问题
  • 监控各类指标:少数类的 precision/recall 是否达标
  • 持续回流:线上真实分布数据回流,定期重训
  • A/B 测试:校准前后的业务指标对比

七、推荐的整体流程(收口)

1. 分析数据分布 & 业务代价
2. 判断任务类型:单标签(CE)还是多标签(BCE)
3. 训练集:class_weight / Focal / Logit Adjustment(验证/测试保持真实分布)
4. 无效标签:单标签 ignore_index,多标签元素级 Loss Mask
5. 训练模型
6. 评估:Macro-F1 为主 + 逐类 P/R/F1
7. 用真实分布验证集做概率校准(先验修正 / Platt / Isotonic / 温度缩放)
8. 按业务需求调阈值
9. 线上监控预测分布 & 各类指标,数据回流定期重训

一句话总结

训练时可以均衡(推荐改损失用 class_weight / Focal / Logit Adjustment,而非硬重采样),但推理时必须把概率还原到线上真实先验;标签侧先分清「负样本 vs 缺失」再决定是否 mask;评估侧主看 Macro-F1。如果只用 argmax 标签,校准影响相对小,但仍建议用真实分布验证集评估。


相关笔记