Transformer 面试题精讲
六、特定应用场景与解决方案(2题)
1. 如何使用 Transformer 实现对话系统并判定用户交流内容是否离题?
整体系统架构:
结合 Transformer 的强大语义理解能力,可设计一个两阶段的对话系统:
阶段一:对话管理(Dialogue Management)
(1)上下文感知的对话编码
使用预训练的 Transformer 模型(如 BERT、DialoGPT、BlenderBot)对对话历史进行编码:
其中 为用户话语, 为系统回复,多轮对话通过 [SEP] 分隔。Cross-Attention 使当前话语能够感知历史上下文,建立连贯的对话状态。
(2)对话状态跟踪(Dialogue State Tracking, DST)
通过 Transformer 的 Slot Filling 能力追踪对话中的关键信息槽(Intent、Slot Value),如:
- 用户意图(Intent):查询天气、预订酒店等;
- 话题域(Domain):旅游、医疗、技术支持等;
- 关键实体:时间、地点、人名等。
阶段二:离题检测(Off-topic / Topic Drift Detection)
方法一:基于主题一致性的语义相似度检测
定义对话的”主话题”向量 为前 轮对话的平均 [CLS] 表示:
计算最新用户话语 的 [CLS] 表示 与 的余弦相似度:
若相似度低于阈值 (如 0.6),则判定为离题。
方法二:有监督的离题二分类器
在对话数据集上标注”离题/不离题”,将对话历史 + 当前话语输入 BERT,用 [CLS] 经过线性层二分类:
使用交叉熵损失训练,可以学习到细粒度的离题模式(如突然切换话题、引入无关实体等)。
方法三:基于 NLI(自然语言推理)的零样本离题检测
将”当前话语是对话主题的延续”表述为假设,历史对话作为前提,通过 NLI 模型判断”蕴含”(In-topic)还是”矛盾/中立”(Off-topic):
无需任务特定标注数据,灵活性强。
方法四:基于 Attention 权重的可解释性检测
分析用户话语中各 token 与历史对话 token 之间的 Cross-Attention 权重。若当前话语与历史对话的高权重 Attention 聚焦位置集中在少数词汇上(而非广泛相关),且这些词汇与历史话题关键词无语义关联,则提示可能离题。
工程实践建议:
- 多信号融合:将语义相似度 + 意图分类器 + NLI 分数加权融合,提升鲁棒性;
- 滑动窗口上下文:使用最近 轮(而非全部历史)作为”主题锚点”,适应主题自然演进;
- 主动澄清策略:检测到离题时,系统生成引导性回复(“您是否想继续讨论[原话题],还是切换到[新话题]?”),而非直接拒绝;
- 话题图谱(Topic Graph):维护一个话题转移图,区分”自然话题扩展”(允许)和”突兀话题跳跃”(告警)。
代表模型:
DialoGPT、BlenderBot(Facebook)、ChatGPT、PaLM-E 等大型对话模型内置了对话连贯性建模,但仍需在具体业务场景下微调以精准识别领域特定的离题行为。
2. Transformer 训练时学习率和 Dropout 的设定?
学习率(Learning Rate)设定:
(1)Warmup + 衰减调度(原版 Transformer)
Vaswani et al. 提出的经典学习率公式:
两段式含义:
- 前 步:,线性递增(避免训练初期梯度爆炸);
- 之后:,随步数增大而衰减(避免后期震荡)。
典型超参设定:
| 模型 | 峰值 | ||
|---|---|---|---|
| Transformer Base | 512 | 4000 | ~1e-3 |
| BERT Base | 768 | 10000 | 1e-4 |
| GPT-3 | 12288 | — | 6e-5 |
(2)常用学习率调度方案
-
线性 Warmup + 线性衰减(BERT 标准方案):
训练结束时学习率归零(Cosine Decay 变体更平滑); -
Cosine Annealing with Warmup:
广泛用于 GPT-2/3、LLaMA 等自回归语言模型; -
学习率选择建议:预训练阶段 ;微调阶段通常比预训练小 1~2 个数量级( 典型值)。
(3)优化器选择
- Adam():原版 Transformer 使用;
- AdamW(Adam + Weight Decay 解耦):BERT、GPT-2 使用,Weight Decay 不作用于 Bias 和 LayerNorm 参数;
- LAMB(Large Batch 专用):支持 batch size 扩展到 32K+,训练 BERT 时间从 76 小时降至 76 分钟(Google TPU)。
Dropout 的设定:
(1)Dropout 位置
在原版 Transformer 中,Dropout 应用于以下位置:
- Embedding 后:;
- 每个 Attention 子层的输出(残差连接之前);
- 每个 FFN 子层的输出(残差连接之前);
- Attention 权重矩阵(对 Softmax 归一化后的权重做 Dropout,防止模型过于依赖某个位置)。
(2)Dropout Rate 设定
| 模型 | Dropout Rate | 场景 |
|---|---|---|
| Transformer Base | 0.1 | 标准预训练/序列到序列任务 |
| BERT Base | 0.1 | 预训练;微调时通常保持 0.1 |
| GPT-2 Small | 0.1 | 标准语言模型 |
| 小数据集微调 | 0.2~0.3 | 增大以防止过拟合 |
| 大规模预训练(GPT-3) | 0.1(或无) | 数据充足时 Dropout 贡献小 |
原则:
- 训练数据越少,Dropout Rate 应越大(正则化需求更强);
- 超大规模预训练(百亿参数以上)通常 Dropout 效果不明显,甚至不使用;
- Embedding 层 Dropout 率可以比其他层略高(如 0.2)。
(3)Dropout 在推理(Inference)时的注意事项
- 推理时必须关闭 Dropout(
model.eval()或等价操作),否则每次推理结果不一致(随机丢弃神经元); - 训练时激活的神经元比例为 ,推理时所有神经元激活,为保持期望输出幅度不变,通常在训练时对未丢弃的激活值乘以 进行缩放(Inverted Dropout,主流实现方式);
- Monte Carlo Dropout:推理时保持 Dropout 开启并多次采样取均值,可近似 Bayesian 推断,估计模型的不确定性(用于模型置信度校准)。
(4)DropPath / Stochastic Depth
对于极深的 Transformer(ViT-Huge 等),除标准 Dropout 外,还常用 DropPath(随机深度):以概率 跳过某一整层的残差分支,训练时相当于集成不同深度的子网络,推理时恢复全深度。DropPath 率通常沿深度线性增大(浅层 小,深层 大)。