Transformer 面试题精讲

六、特定应用场景与解决方案(2题)


1. 如何使用 Transformer 实现对话系统并判定用户交流内容是否离题?

整体系统架构:

结合 Transformer 的强大语义理解能力,可设计一个两阶段的对话系统:

阶段一:对话管理(Dialogue Management)

(1)上下文感知的对话编码

使用预训练的 Transformer 模型(如 BERT、DialoGPT、BlenderBot)对对话历史进行编码:

其中 为用户话语, 为系统回复,多轮对话通过 [SEP] 分隔。Cross-Attention 使当前话语能够感知历史上下文,建立连贯的对话状态。

(2)对话状态跟踪(Dialogue State Tracking, DST)

通过 Transformer 的 Slot Filling 能力追踪对话中的关键信息槽(Intent、Slot Value),如:

  • 用户意图(Intent):查询天气、预订酒店等;
  • 话题域(Domain):旅游、医疗、技术支持等;
  • 关键实体:时间、地点、人名等。

阶段二:离题检测(Off-topic / Topic Drift Detection)

方法一:基于主题一致性的语义相似度检测

定义对话的”主话题”向量 为前 轮对话的平均 [CLS] 表示:

计算最新用户话语 的 [CLS] 表示 与 的余弦相似度:

若相似度低于阈值 (如 0.6),则判定为离题。

方法二:有监督的离题二分类器

在对话数据集上标注”离题/不离题”,将对话历史 + 当前话语输入 BERT,用 [CLS] 经过线性层二分类:

使用交叉熵损失训练,可以学习到细粒度的离题模式(如突然切换话题、引入无关实体等)。

方法三:基于 NLI(自然语言推理)的零样本离题检测

将”当前话语是对话主题的延续”表述为假设,历史对话作为前提,通过 NLI 模型判断”蕴含”(In-topic)还是”矛盾/中立”(Off-topic):

无需任务特定标注数据,灵活性强。

方法四:基于 Attention 权重的可解释性检测

分析用户话语中各 token 与历史对话 token 之间的 Cross-Attention 权重。若当前话语与历史对话的高权重 Attention 聚焦位置集中在少数词汇上(而非广泛相关),且这些词汇与历史话题关键词无语义关联,则提示可能离题。

工程实践建议:

  • 多信号融合:将语义相似度 + 意图分类器 + NLI 分数加权融合,提升鲁棒性;
  • 滑动窗口上下文:使用最近 轮(而非全部历史)作为”主题锚点”,适应主题自然演进;
  • 主动澄清策略:检测到离题时,系统生成引导性回复(“您是否想继续讨论[原话题],还是切换到[新话题]?”),而非直接拒绝;
  • 话题图谱(Topic Graph):维护一个话题转移图,区分”自然话题扩展”(允许)和”突兀话题跳跃”(告警)。

代表模型:

DialoGPT、BlenderBot(Facebook)、ChatGPT、PaLM-E 等大型对话模型内置了对话连贯性建模,但仍需在具体业务场景下微调以精准识别领域特定的离题行为。


2. Transformer 训练时学习率和 Dropout 的设定?

学习率(Learning Rate)设定:

(1)Warmup + 衰减调度(原版 Transformer)

Vaswani et al. 提出的经典学习率公式:

两段式含义:

  • 前 步:,线性递增(避免训练初期梯度爆炸);
  • 之后:,随步数增大而衰减(避免后期震荡)。

典型超参设定:

模型峰值
Transformer Base5124000~1e-3
BERT Base768100001e-4
GPT-312288—6e-5

(2)常用学习率调度方案

  • 线性 Warmup + 线性衰减(BERT 标准方案):
    训练结束时学习率归零(Cosine Decay 变体更平滑);

  • Cosine Annealing with Warmup:
    广泛用于 GPT-2/3、LLaMA 等自回归语言模型;

  • 学习率选择建议:预训练阶段 ;微调阶段通常比预训练小 1~2 个数量级( 典型值)。

(3)优化器选择

  • Adam():原版 Transformer 使用;
  • AdamW(Adam + Weight Decay 解耦):BERT、GPT-2 使用,Weight Decay 不作用于 Bias 和 LayerNorm 参数;
  • LAMB(Large Batch 专用):支持 batch size 扩展到 32K+,训练 BERT 时间从 76 小时降至 76 分钟(Google TPU)。

Dropout 的设定:

(1)Dropout 位置

在原版 Transformer 中,Dropout 应用于以下位置:

  • Embedding 后:;
  • 每个 Attention 子层的输出(残差连接之前);
  • 每个 FFN 子层的输出(残差连接之前);
  • Attention 权重矩阵(对 Softmax 归一化后的权重做 Dropout,防止模型过于依赖某个位置)。

(2)Dropout Rate 设定

模型Dropout Rate场景
Transformer Base0.1标准预训练/序列到序列任务
BERT Base0.1预训练;微调时通常保持 0.1
GPT-2 Small0.1标准语言模型
小数据集微调0.2~0.3增大以防止过拟合
大规模预训练(GPT-3)0.1(或无)数据充足时 Dropout 贡献小

原则:

  • 训练数据越少,Dropout Rate 应越大(正则化需求更强);
  • 超大规模预训练(百亿参数以上)通常 Dropout 效果不明显,甚至不使用;
  • Embedding 层 Dropout 率可以比其他层略高(如 0.2)。

(3)Dropout 在推理(Inference)时的注意事项

  • 推理时必须关闭 Dropout(model.eval() 或等价操作),否则每次推理结果不一致(随机丢弃神经元);
  • 训练时激活的神经元比例为 ,推理时所有神经元激活,为保持期望输出幅度不变,通常在训练时对未丢弃的激活值乘以 进行缩放(Inverted Dropout,主流实现方式);
  • Monte Carlo Dropout:推理时保持 Dropout 开启并多次采样取均值,可近似 Bayesian 推断,估计模型的不确定性(用于模型置信度校准)。

(4)DropPath / Stochastic Depth

对于极深的 Transformer(ViT-Huge 等),除标准 Dropout 外,还常用 DropPath(随机深度):以概率 跳过某一整层的残差分支,训练时相当于集成不同深度的子网络,推理时恢复全深度。DropPath 率通常沿深度线性增大(浅层 小,深层 大)。