Transformer 面试题精讲

三、应用与实践(6题)


1. 如何使用 Transformer 实现 Zero-shot Learning?

Zero-shot Learning(零样本学习)定义:

模型在测试时需要处理训练中从未见过的类别或任务,仅凭类别描述(文本、属性向量等)或任务指令就能做出正确预测。

Transformer 实现 Zero-shot Learning 的主要范式:

(1)基于语言模型的条件生成(GPT 系列)

GPT-3 将任务统一为文本补全(text completion),通过自然语言描述任务(Prompt)直接生成答案,无需任何任务特定的参数更新。例如:

Translate English to French:
sea otter => loutre de mer
cheese =>

模型通过上下文示例理解任务意图,输出”fromage”。这种方式的 zero-shot 依赖于预训练语料的广度和模型规模,本质上是利用语言模型的隐式”世界知识”。

(2)基于语义相似度的类别对齐(CLIP 等)

  • 将图像/文本分别通过两个编码器映射到同一语义空间;
  • 测试时,将所有候选类别描述(如”a photo of a dog”)编码为文本向量,与图像向量计算余弦相似度,取最相似的类别作为预测结果;
  • 整个流程无需对目标类别进行微调,直接利用文本描述泛化到新类别。

(3)Entailment-based Zero-shot(NLI 模型)

将分类任务转化为自然语言推理(NLI):

  • 输入(前提):原始文本;
  • 假设(Hypothesis):将候选类别改写为自然语言(如”这段话是关于体育的”);
  • 模型判断前提是否蕴含假设(Entailment),蕴含概率最高的类别即为预测结果。

Huggingface 的 facebook/bart-large-mnli 是常用的此类模型。

(4)Instruction Tuning(指令微调)

在多种任务的自然语言指令上微调 Transformer(如 FLAN、InstructGPT),模型学会根据指令理解新任务,zero-shot 能力大幅超过朴素预训练模型。

(5)属性向量空间迁移

传统 ZSL 方法:为每个类别构建属性向量(颜色、形状等),用 Transformer Encoder 将图像特征映射到属性空间,测试时利用未见类别的属性向量直接做最近邻匹配。

工程实践建议:

  • 对于纯文本分类,首选基于 NLI 或指令微调的方案,效果好且实现简单;
  • 对于开放域问答,GPT 类生成模型 + 精心设计的 Prompt 是主流选择;
  • Prompt 设计(Prompt Engineering)对 zero-shot 性能影响极大,需要多次迭代优化。

2. 描述至少 2 种对不同训练模型训练出来的 Embeddings 进行相似度比较的方法

背景:

不同模型(如 BERT、RoBERTa、GPT-2)训练出的 Embedding 处于不同的高维向量空间,直接用余弦相似度比较往往无意义(量纲、分布不同)。

方法一:中心化 + 白化(Whitening)对齐

步骤:

  1. 对各模型的 Embedding 矩阵分别做 PCA 或奇异值分解(SVD);
  2. 白化变换:,使每个 Embedding 空间变为零均值、单位协方差(各向同性);
  3. 白化后,两个空间的 Embedding 都处于标准化的球形分布,可直接用余弦相似度或欧氏距离比较。

原理: 消除各模型 Embedding 空间的各向异性和量纲差异,使相似度度量有意义。

参考: WhiteningBERT、BERT-whitening。


方法二:CKA(Centered Kernel Alignment)

核心思想: 不比较单个向量,而是比较两个模型在同一批样本上的表示矩阵的相似性。

给定两个模型对 个样本的表示矩阵 和 ,CKA 定义为:

  • 值域 ,1 表示两个表示完全等价(忽略线性变换);
  • 对旋转和缩放不变(比直接比较向量更鲁棒);
  • 可用线性核(Linear CKA)或 RBF 核(Kernel CKA),不需要 Embedding 维度相同。

应用: 研究不同预训练模型是否学到了相似的特征表示(Kornblith et al., 2019)。


方法三:基于任务的迁移评估(Probing / Transfer Learning Evaluation)

思路: 不直接比较向量,而是通过在同一个下游任务上训练线性分类器(探测器),用分类器的准确率间接反映 Embedding 的语义质量和可比性。

  • 对每个模型的 Embedding 分别训练一个线性探测器;
  • 比较不同模型在相同任务上的探测准确率;
  • 这种”功能性相似度”比几何相似度更贴近实际应用价值。

方法四:互信息估计(Mutual Information Estimation)

用 MINE(Mutual Information Neural Estimation)或 InfoNCE 等方法估计两组 Embedding 之间的互信息 ,互信息越高,说明两者携带的信息越相似,适用于高维非线性的 Embedding 比较。


3. 如何使得小模型(如 LSTM)具有大模型(如 BERT)的能力?

核心方法:知识蒸馏(Knowledge Distillation, KD)

Hinton 等人提出的经典 KD 框架:

令大模型(Teacher)为 ,小模型(Student)为 ,Teacher 输出的 soft label 为:

其中 为温度参数( 时概率分布更软,保留类间相似度信息)。

Student 的总损失为:

其中第一项是对真实标签的交叉熵损失,第二项是对 Teacher 软标签的 KL 散度(乘以 补偿梯度量级)。

针对 BERT → LSTM 的蒸馏策略:

(1)输出层蒸馏(Response-based KD)

最基础的方式:让 LSTM 模仿 BERT 最终输出层的 logit 分布(soft labels),训练 LSTM 拟合 BERT 的”暗知识”(dark knowledge)。

(2)中间层蒸馏(Feature-based KD)

  • 将 BERT 中间层的隐状态作为”监督信号”,让 LSTM 的隐状态通过线性投影拟合 BERT 的中间表示;
  • TinyBERT 对每一层的 Attention 矩阵和隐状态同时做蒸馏,效果显著优于只蒸馏输出层。

(3)任务无关 → 任务特定的两阶段蒸馏(TinyBERT)

  • 第一阶段:在大规模无标注语料上做通用蒸馏(General Distillation),让小模型学习 BERT 的通用语言知识;
  • 第二阶段:在目标任务数据上做任务特定蒸馏(Task-specific Distillation),用数据增强扩充训练集。

(4)LSTM 的特殊处理

由于 LSTM 与 Transformer 架构差异大(无 Attention 机制),蒸馏时:

  • 使用 BERT 最后几层的隐状态(对应 LSTM 输出)进行 L2 对齐;
  • 用双向 LSTM(BiLSTM)更好地模仿 BERT 的双向编码能力;
  • 配合数据增强(回译、同义词替换)扩大 LSTM 的泛化能力。

效果预期:

通过良好的 KD,4 层 BiLSTM 在 GLUE 上的性能可达 12 层 BERT-base 的 95%+,推理速度快 5~10 倍。


4. 训练后的 BERT 模型泛化能力的限制是什么?

(1)领域偏移(Domain Shift)

BERT 在 Wikipedia + BookCorpus 上预训练,对特定垂直领域(医疗、法律、金融、代码等)泛化能力有限。专业术语、领域写作风格和知识结构与通用文本差异显著,直接 fine-tune 往往需要领域内有监督数据。

改进:继续在领域语料上做 domain-adaptive pretraining(DAP),如 BioBERT、LegalBERT、FinBERT。

(2)长序列处理能力有限

BERT 的最大输入长度为 512 tokens(由于位置编码固定),对长文档处理能力天然受限,直接截断会丢失重要上下文。

改进:Longformer、BigBird 使用稀疏注意力将上下文扩展到 4096/8192 tokens。

(3)任务分布依赖(Fine-tuning Brittleness)

BERT 在 fine-tuning 数据极少时(如每类 < 10 个样本)容易过拟合,泛化性差;且不同 fine-tuning 随机种子导致性能方差大(“BERT 不稳定”现象)。改进:使用 Prompt-tuning 或 Adapter,减少全参数微调带来的灾难性遗忘。

(4)时间偏移(Temporal Shift)

BERT 的训练语料有截止日期,无法感知预训练后出现的新概念、新实体和新事件,导致在时效性任务(新闻问答、实体识别新兴命名实体)上泛化能力弱。

(5)推理与常识能力的局限

BERT 在多步推理、数学计算、物理常识推理等任务上表现不佳,主要因为其预训练目标(MLM)侧重于词汇级填空,缺乏结构化推理的显式训练。

(6)对抗鲁棒性差

BERT 对对抗样本(如添加无关文字、拼写扰动、语义保持的改写)十分脆弱,泛化能力不能等同于鲁棒性。

(7)语言偏见(Bias)

预训练语料中的社会偏见(性别、种族、职业刻板印象)被 BERT 吸收,导致在公平性敏感任务上泛化行为不一致。


5. GPT 的 auto-regressive 语言模型架构在信息表示方面有什么缺陷?

Auto-regressive(自回归)语言模型的基本假设:

GPT 以从左到右的方式预测下一个 token:

通过因果掩码(Causal Mask)保证每个 token 只能”看到”其左侧的上下文。

信息表示的核心缺陷:

(1)单向上下文(Unidirectional Context)

每个 token 的表示只利用了左侧的历史信息,无法感知右侧的未来上下文。这对于需要双向理解的任务(如 NER、关系抽取、阅读理解)是本质缺陷——正确理解一个词往往需要同时结合左右语境(如”苹果手机”vs”苹果公司”的消歧)。

相比之下,BERT 使用双向 Transformer(通过 MLM),每个 token 能同时看到左右上下文,因此在理解类任务上通常优于 GPT。

(2)暴露偏差(Exposure Bias)

训练时 GPT 以真实的 ground-truth token 作为下一步输入(teacher forcing),而推理时以模型自身生成的 token 作为下一步输入。训练与推理之间的分布不匹配导致错误累积(Error Accumulation),在长序列生成任务中尤为明显。

(3)对全局语义的建模能力有限

自回归模型在生成时倾向于局部一致性(下一个词与前几个词连贯),但对长文档的全局主题一致性保持困难,容易”话题漂移”。

(4)表征不适合直接用于分类

GPT 的隐状态只捕获了”到此为止的上下文”,没有汇聚全局语义,不像 BERT 的 [CLS] token 那样有一个明确的”全局句子向量”语义(尽管 [CLS] 本身也有局限),直接用于句子级分类任务需要额外的汇聚机制(如取最后一个 token 的隐状态)。

GPT 的优势补偿:

自回归架构天然适合生成任务,且预训练目标简单稳定,支持无限长度的文本生成;通过超大规模参数和数据(GPT-3/4),上述缺陷在一定程度上被弥补,few-shot 能力甚至超过部分双向模型的 fine-tuned 性能。


6. 描述 BERT 中 MLM 实现中的缺陷及可能的解决方案

MLM(Masked Language Model)机制回顾:

随机遮盖 15% 的 token,其中 80% 替换为 [MASK],10% 替换为随机词,10% 保持不变,然后预测原始 token。

核心缺陷:

(1)预训练-微调不一致(Pretrain-Finetune Discrepancy)

预训练时输入包含 [MASK] token,而下游任务微调时输入中从不出现 [MASK],造成分布偏移。BERT 用 10% 随机词 + 10% 保持不变缓解了这一问题,但无法完全消除。

解决方案:XLNet 使用 Permutation Language Modeling(PLM),通过随机置换输入序列来实现”自回归式双向建模”,完全避免 [MASK] token 的使用。

(2)假设独立性(Independence Assumption)

标准 MLM 对多个被 mask 的 token 的预测是相互独立的,无法对其联合分布建模。例如,“New York is a city” 中同时 mask “New” 和 “York”,模型会分别独立预测,无法利用”New” → “York”的强关联。

解决方案:SpanBERT 对连续 span 做整体 mask,并通过 Span Boundary Objective(SBO)要求用边界 token 预测整个 span,迫使模型对 span 内部关系建模。

(3)信息利用效率低(Only 15% Tokens Supervised)

MLM 每次只对 15% 的 token 计算损失,85% 的 token 不参与学习,训练效率低。

解决方案:ELECTRA 提出 Replaced Token Detection(RTD)任务:用小型生成器(Generator)对所有 mask 位置生成替换词,再用大型判别器(Discriminator)对所有 token 判断是否为原始词(二分类)。这样每个 token 都参与损失计算,训练效率大幅提升(以相同计算量可达到更好性能)。

(4)上下文长度限制(512 tokens)

MLM 无法对超过 512 tokens 的长文档建立跨段落的依赖,导致长文档建模能力弱。

解决方案:XLNet 引入 Transformer-XL 的循环记忆机制(Segment Recurrence),Longformer 使用稀疏注意力,均支持更长的上下文。

(5)预测难度不均衡(Easy vs. Hard Masks)

随机 mask 策略会产生大量”简单”的预测任务(高频词、停用词),模型容易通过局部上下文就猜出答案,而没有学到深层语义。

解决方案:Whole Word Masking(全词 mask,避免 subword 部分可见);Entity Masking / Phrase Masking(优先 mask 实体和短语,增加任务难度)。


四、技术深入与创新应用(29题)


1. 从数学角度阐明对 Transformer 任意位置和长度进行 Mask 的方式

Mask 在 Attention 计算中的数学实现:

在计算 Attention Score 时:

其中 为 Mask 矩阵,,定义为:

当 时,,对应位置的 softmax 权重精确为 0,即完全屏蔽该位置。

任意位置和长度 Mask 的构造方法:

(1)Padding Mask(批量 Padding 屏蔽)

对序列中 [PAD] 位置进行 mask:
实现时使用 (或 )代替 避免数值问题,效果等价。

(2)Causal Mask(下三角 Mask,Decoder 自注意力)

禁止每个位置看到未来信息,构造下三角矩阵:
在 PyTorch 中等价于:torch.triu(torch.ones(n, n), diagonal=1) * (-1e9)

(3)任意位置和长度的 Mask 统一框架

设定一个 boolean 矩阵 ,其中 表示允许, 表示遮盖:

通过控制 的取值,可以实现任意复杂的注意力模式:

  • 局部窗口: 当 ;
  • 跨段屏蔽:不同文档的 token 互相屏蔽;
  • 条件屏蔽:基于语义标签、句法角色动态构造 。

数学性质:

由于 softmax 的值域是 之和为 1,加入 mask 后对应位置的梯度也为 0,因此 mask 操作在反向传播中自动被屏蔽,无需特殊处理。


2. 描述 Encoder 和 Decoder 中 Attention 机制的不同之处

Transformer 中共有三种 Attention 机制,分别出现在 Encoder 和 Decoder 的不同位置:

(1)Encoder 的 Self-Attention(双向自注意力)

  • 输入:Q、K、V 均来自 Encoder 当前层的输入序列;
  • Mask:仅有 Padding Mask(屏蔽 PAD token),无因果限制;
  • 特点:每个 token 可以关注序列中的任意其他位置(双向),充分利用全局上下文;
  • 功能:构建源语言(或输入序列)的上下文表示。

(2)Decoder 的 Masked Self-Attention(单向/因果自注意力)

  • 输入:Q、K、V 均来自 Decoder 当前层的输入序列(目标序列);
  • Mask:同时应用 Causal Mask(下三角,禁止看未来)+ Padding Mask;
  • 特点:每个位置只能关注自身及其之前的位置,保证自回归生成的因果性;
  • 功能:在生成目标序列时维护已生成部分的上下文。

(3)Decoder 的 Cross-Attention(编码-解码注意力)

  • 输入:Q 来自 Decoder 上一子层的输出,K 和 V 来自 Encoder 的最终输出;
  • Mask:只有 Padding Mask(屏蔽 Encoder 端的 PAD token);
  • 特点:Decoder 的每个位置可以关注 Encoder 输出的任意位置;
  • 功能:将源序列的语义信息注入到目标序列的生成过程中,是 Encoder-Decoder “对话”的核心机制。

三者对比:

类型Q来源K/V来源Mask类型方向性
Encoder Self-AttentionEncoder 输入Encoder 输入Padding Mask双向
Decoder Masked Self-AttentionDecoder 输入Decoder 输入Causal + Padding单向(因果)
Decoder Cross-AttentionDecoder 中间层Encoder 输出Padding Mask全向(对齐)

3. 描述 Transformer 中 Decoder 的 Embedding layers 架构设计、运行流程和数学原理

架构设计:

Decoder 的 Embedding 层由两部分组成:

其中 是 时刻的目标 token。

(1)Token Embedding

  • 维度:( 为目标词表);
  • 在机器翻译等任务中,源语言和目标语言若不同,Token Embedding 是独立的;
  • 在语言模型(GPT)中,只有一个统一的词表,Embedding 矩阵同时用于输入和输出层(Weight Tying);
  • 通常按 缩放,与位置编码量纲对齐。

(2)Positional Embedding

与 Encoder 端相同,使用正弦/余弦函数或可学习的位置嵌入,编码序列中的位置信息:

运行流程(训练时,Teacher Forcing):

  1. 在目标序列前加 [BOS](Begin of Sentence)token;
  2. 将整个目标序列([BOS], y_1, y_2, ..., y_{n-1})一次性输入 Decoder;
  3. 经过 Token Embedding + Position Embedding 得到输入矩阵;
  4. 通过 Causal Mask 的 Masked Self-Attention,保证每个位置只看到之前的 token;
  5. 通过 Cross-Attention 与 Encoder 输出交互;
  6. 经 FFN 后输出 维向量,通过线性投影(输出层)映射回词表大小,取 softmax 得到概率分布;
  7. 与 ground truth(y_1, y_2, ..., y_n, [EOS])计算交叉熵损失。

4. 描述 Transformer 进行 Training 的全生命周期中 Decoder 的 Embedding 过程

训练全生命周期(完整流程):

(1)数据准备阶段

  • 源序列(Source):,经 BPE/WordPiece 分词后转为 token ID;
  • 目标序列(Target):;
  • 构造 Decoder 输入:;
  • 构造 Decoder 标签:。

(2)Embedding 阶段(前向传播起点)

  • ;
  • Embedding 矩阵查表操作:,输入整数 ID,输出对应行向量;
  • 位置编码加法:;
  • Dropout 作用于 。

(3)逐层 Transformer 处理

每一层 依次执行:

  • Masked Self-Attention(附 Causal Mask);
  • Cross-Attention(Q 来自 Decoder,K/V 来自 Encoder 输出);
  • FFN;
  • 每个子层后接 LayerNorm 和残差连接。

(4)输出层与损失计算

  • 最终输出 ,经线性层 投影:;
  • 若使用 Weight Tying:(与 Embedding 矩阵共享参数);
  • ,即按位置的交叉熵均值。

(5)反向传播与参数更新

梯度通过 Logits → FFN → Cross-Attention → Masked Self-Attention → Embedding 逐层回传,Embedding 矩阵本身也参与梯度更新。


5. 描述 Transformer 进行 Inference 的全生命周期中 Decoder 的 Embedding 过程

推理与训练的关键区别:自回归逐步生成(无 Teacher Forcing)

(1)初始化

  • 输入序列 经 Encoder 编码,得到 Encoder 输出 (固定,只计算一次);
  • Decoder 输入初始化为 [BOS] token:。

(2)逐步自回归生成(Step )

在第 步:

  • Embedding:;
  • 经过 Decoder 所有层(Masked Self-Attention 仅看 的历史);
  • 输出 (只取最后一个位置的 logit);
  • 采样策略(Greedy / Beam Search / Top-k / Top-p)选取下一个 token ;
  • 将 追加到序列:。

(3)KV Cache 优化(关键工程实现)

每一步 Decoder 的 Self-Attention 和 Cross-Attention 都需要历史 token 的 K、V 向量,若每步重新计算代价极高。KV Cache 技术缓存每一层历史步骤的 K、V 矩阵,推理时只需计算最新 token 的 Q,与缓存的 K/V 做 Attention,显存换时间,推理速度提升 5~20 倍。

(4)终止条件

生成 [EOS] token 或达到最大长度限制时停止,输出最终序列。


6. 如果 Transformer 采用和 Inference 同样的流程进行 Training,会有什么弊端?

Inference 流程用于 Training = 完全的自回归串行训练(无 Teacher Forcing)

弊端分析:

(1)训练速度极慢(无法并行)

推理时 Decoder 必须逐 token 串行生成(第 步需要第 步的输出),如果训练也采用这种方式,每个训练样本的反向传播需要等整个序列的前向传播完成,时间复杂度从 (Teacher Forcing 下所有位置并行)退化为 (串行)。对于序列长度 的样本,训练时间增加约 512 倍。

(2)梯度累积导致训练不稳定

自回归训练中,每一步的预测误差会传递到下一步(错误输入引发更大偏差),梯度需要通过整个序列的时间维度反向传播,导致极端的梯度消失/爆炸问题(类似于极深 RNN 的梯度问题)。

(3)暴露偏差(Exposure Bias)问题更严重

若训练时使用自回归流程,模型在训练早期会产生大量错误 token,后续步骤的学习全部建立在错误输入之上,形成”错误滚雪球”效应,使模型难以收敛。

(4)与 Teacher Forcing 的折中方案

Scheduled Sampling:在训练初期以高概率使用 Teacher Forcing,随着训练进行逐步提高使用模型自身输出作为下一步输入的概率。这是缓解推理时暴露偏差的常用策略,但计算上仍无法完全并行化。

(5)结论

Training 采用 Teacher Forcing(利用 Causal Mask 一次性并行计算所有位置的损失)是工程必要选择,它牺牲了训练-推理一致性(即 Exposure Bias),换取了几百倍的训练速度提升,是 Transformer 可大规模训练的关键设计决策之一。


7. 为何 Transformer 的 Matrix Dimensions 是 3D 的?

三维张量的来源:批处理(Batch Processing)

在实际训练和推理中,模型以批次(Batch)方式处理多个样本,输入张量维度为:

  • :Batch Size,一次处理的样本数量;
  • :序列长度(Sequence Length);
  • :每个 token 的嵌入维度。

为什么需要 3D:

  1. 批处理并行性:GPU/TPU 的并行计算能力要求尽可能将计算批量化,3D 张量允许在 维度上并行处理多个样本;

  2. 序列建模需求:NLP 任务中输入天然是序列(token 序列),需要 维表示序列中的每个位置;

  3. 特征表示维度: 维度存储每个 token 的高维语义特征。

各核心操作的 3D 张量形式:

  • Embedding:,整数 ID 转为向量;
  • Q/K/V 投影:,广播矩阵乘法;
  • Attention Score:,批量点积;
  • 多头 Attention 时,维度扩展为 (4D),其中 为头数;
  • FFN:逐位置应用,。

本质: 3D(乃至 4D)张量是批处理 + 序列建模 + 高维特征表示三个需求的自然结合,GPU 高度优化的 BLAS 批量矩阵乘法(BMM)使这些 3D 操作能够高效执行。


8. 描述只由一个 Encoder 和 Decoder 的 Transformer 使用了 Attention 的地方及其功能

Attention 使用的三个位置及功能:

(1)Encoder Self-Attention(编码器自注意力)

  • 位置:Encoder 模块内部;
  • 功能:让源序列中的每个 token 关注序列中所有其他 token,构建全局上下文感知的表示;
  • 例子:在翻译任务中,“bank”可以通过关注上下文中的”river”或”money”来消歧。

(2)Decoder Masked Self-Attention(解码器掩码自注意力)

  • 位置:Decoder 模块内部,位于 Cross-Attention 之前;
  • 功能:让目标序列中的每个已生成 token 关注其之前已生成的所有 token,维护自回归生成的历史上下文,同时通过 Causal Mask 防止信息泄漏;
  • 例子:在生成”我爱北京天安门”时,生成”天安门”时能看到”我爱北京”的上下文。

(3)Decoder Cross-Attention(编码器-解码器交叉注意力)

  • 位置:Decoder 模块内部,位于 Masked Self-Attention 之后;
  • 功能:让 Decoder 的每个位置动态关注 Encoder 输出的不同位置,实现源序列与目标序列的对齐(Alignment);
  • 例子:在翻译英→中时,生成中文”猫”时,模型通过 Cross-Attention 关注英文”cat”的 Encoder 向量。

三者的协同作用:

Encoder Self-Attention 建立源语言的语义理解 → Cross-Attention 将源语言知识”注入”解码器 → Decoder Masked Self-Attention 维持目标语言的生成一致性,三者协同完成端到端的序列到序列转换。


9. 描述 Training 和 Inference 时 Masking 在 Transformer 使用 Attention 机制的地方的功能和数学实现

Masking 的数学基础(已在第1题详述):

Training 时各处 Masking 的功能:

位置Mask类型数学构造功能
Encoder Self-AttentionPadding Mask 若 是 PAD屏蔽 PAD token,防止其影响有效 token 的表示
Decoder Masked Self-AttentionCausal Mask + Padding Mask上三角 + PAD 防止看未来 token(保证自回归训练的一致性)
Decoder Cross-AttentionSource Padding Mask 若 Encoder 端 是 PAD屏蔽 Encoder 端的 PAD,避免无效位置污染对齐

Inference 时各处 Masking 的功能:

位置Mask类型与训练的区别
Encoder Self-AttentionPadding Mask与训练相同
Decoder Masked Self-AttentionCausal Mask每步只有历史 token(长度递增),Mask 矩阵每步是 的下三角矩阵
Decoder Cross-AttentionSource Padding Mask与训练相同(Encoder 输出固定)

关键差异:

训练时 Decoder 接受完整目标序列(长度固定为 ),Causal Mask 是固定的 下三角矩阵,可以一次性并行计算所有位置的损失。推理时 Decoder 逐 token 生成,第 步时 Mask 是 的下三角矩阵(结合 KV Cache,实际只计算当前 token 的 Attention)。


10. 描述 Transformer 的 Training Loss 工作流程和数学公式

标准序列到序列任务(以机器翻译为例)的 Training Loss:

前向传播流程:

  1. Encoder 输入:,Encoder 输出:;
  2. Decoder 输入(Teacher Forcing):;
  3. Decoder 输出:;
  4. 对每个位置 计算 Softmax:。

逐位置交叉熵损失:

等价于:

Label Smoothing(标签平滑)优化:

原始 one-hot 标签 替换为平滑后的标签:

平滑交叉熵为:

标签平滑( 常见)防止模型对训练数据过于自信,改善泛化和校准性(Calibration)。

批次损失:

对 batch 内所有序列的有效 token 位置(非 PAD)取均值:

BERT 的 MLM Loss:

BERT 只对被 mask 的位置计算损失:

其中 为被 mask 的位置集合。


11. 阐述 Multi-head Attention 机制中通过 Linear layer 计算 QKV 的 logical 和 physical partition

逻辑分割(Logical Partition):

设有 个注意力头,输入 ,理论上每个头独立学习一组投影:

其中 ,。

每个头在 维子空间中独立计算 Attention,学习不同的语义关联模式(Head Diversity)。

物理实现(Physical Partition):

为避免 次独立矩阵乘法,工程上将 个头的投影矩阵合并为一个大矩阵:

一次矩阵乘法得到:

然后通过 Reshape + Transpose 操作实现逻辑分割:

得到 个头各自的 ,之后每头独立计算 Attention 后,再 Transpose + Reshape 拼回 ,最后经输出投影 融合多头信息。

核心意义:

  • 逻辑上:多头独立建模,每头关注不同的语义子空间;
  • 物理上:只做两次大矩阵乘法(QKV 投影 + 输出投影),高效利用 BLAS 并行计算,无额外开销。

12. 阐述 Transformer 中所有训练操作的功能

完整前向传播各操作功能汇总:

(1)Token Embedding(词嵌入)

将离散的 token ID 映射为连续的高维向量,将符号空间的词汇表示为语义空间的向量,为后续操作提供连续可微的输入。

(2)Positional Encoding(位置编码)

向 Embedding 注入序列位置信息,使无顺序概念的 Attention 机制能感知 token 在序列中的相对/绝对位置。

(3)Q/K/V 线性投影

将输入 Embedding 分别投影到 Query、Key、Value 空间,允许模型学习不同的表示角色:Q 代表”查询需求”,K 代表”索引键”,V 代表”携带内容”。

(4)Scaled Dot-Product Attention

计算 Q 与 K 的相似度(注意力分数),归一化后加权聚合 V,实现对序列中相关信息的动态检索和融合。

(5)Multi-head 拼接 + 输出投影

将多个头的不同语义子空间的 Attention 结果拼接,再通过线性投影融合,使模型同时捕获多种不同层次的依赖关系。

(6)残差连接(Residual Connection)

将子层的输入直接加回输出,保证梯度的畅通传播,解决深层网络的梯度消失问题,同时允许模型学习”增量变化”而非从零构建表示。

(7)Layer Normalization

对每个样本的每个位置独立归一化,稳定每层输入的分布,加速训练收敛,减少对初始化和学习率的敏感性。

(8)Feed-Forward Network(FFN)

逐位置(Position-wise)应用两层全连接网络,引入非线性变换,增强模型的表达能力,同时通过扩展维度()提供充足的特征变换空间,可理解为模型存储”知识”的键值记忆。

(9)Dropout

随机丢弃部分激活值,防止特定神经元的过度依赖,提升模型的泛化能力。

(10)输出线性层 + Softmax

将最终隐状态投影回词表大小,经 Softmax 得到下一个 token 的概率分布,与真实标签计算交叉熵损失。

(11)反向传播 + 优化器更新

通过链式法则计算损失对所有参数的梯度,Adam/AdamW 优化器结合一阶矩和二阶矩估计自适应地更新各参数,Warmup + 衰减的学习率调度保证训练稳定性。


13. 阐述 QKV 在 Transformer 中的功能

Q、K、V 的概念来源:

QKV 的设计灵感来自信息检索中的”查询-键-值”数据结构(类比数据库检索):

  • Query(Q):“我想要什么信息?“——当前 token 的检索请求向量;
  • Key(K):“我能提供什么信息?“——序列中每个 token 的索引标签向量;
  • Value(V):“我实际携带的信息内容”——序列中每个 token 的语义内容向量。

功能详解:

Q(Query)的功能:

,将输入 Embedding 投影到”查询空间”。Q 向量决定了当前 token 在多大程度上需要关注其他 token,不同的头的 学会关注不同类型的信息(如句法、语义、共指等)。

K(Key)的功能:

,将输入 Embedding 投影到”键空间”。K 向量是被检索的”标签”,Q 与 K 的点积度量了它们的相关程度:。Q 和 K 使用不同的投影矩阵,使模型可以分别学习”什么值得被关注”(K)和”什么在寻找信息”(Q),若使用同一矩阵则两者无法独立优化。

V(Value)的功能:

,将输入 Embedding 投影到”值空间”。V 向量携带实际的语义信息,Attention 权重作用在 V 上,加权求和得到当前 token 的上下文表示:。V 的设计使模型可以”检索到正确内容”而不仅仅是”找到相关位置”——相关性(由 QK 决定)和实际传递的信息(由 V 决定)可以独立学习。

Q ≠ K 的必要性:

若 (使用同一投影),则 Attention 矩阵 会退化为对称矩阵,限制模型的表达能力(关系不一定是对称的,如”A 修饰 B”≠“B 修饰 A”)。使用不同矩阵允许模型学习非对称的注意力模式。