Transformer 面试题精讲

四、技术深入与创新应用(续,第14~25题)


14. 解释 Transformer 中 Attention Score 衡量不同 Words Relevance 的原理

Attention Score 的数学定义:

Attention Score 衡量的是 token (Query)与 token (Key)之间的相关性。

为什么点积能衡量相关性:

点积是向量相似度的度量工具:

  • 当 和 方向相近(余弦相似度高)时,点积大 → 注意力权重高;
  • 当方向正交或相反时,点积趋近 0 或负数 → 注意力权重低。

通过学习建立相关性:

关键在于 和 是可学习的参数。训练过程中,梯度反向传播驱使模型调整这两个投影矩阵,使”语义相关”的 Q-K 对在投影后具有高点积,“语义无关”的 Q-K 对点积低。

例如,在机器翻译任务中,模型会学习使英文”cat”的 K 向量与中文”猫”的 Q 向量在共同空间中高度对齐,从而实现跨语言的语义对齐。

Softmax 归一化的作用:

Softmax 将原始分数转化为概率分布:

  1. 保证权重之和为 1,可解释为”分配注意力的比例”;
  2. 放大最高分数位置的权重(由于指数函数的非线性),实现稀疏关注(最相关的位置获得大部分权重);
  3. 注意力权重可视化用于解释模型决策。

直觉理解:

可以将 Attention 理解为一种”软检索”(Soft Retrieval)——Q 是搜索词,K 是数据库索引,V 是数据内容。Attention Score 决定从哪些”记录”中提取多少信息,所有相关记录的 V 按权重加权求和,得到当前 token 的上下文感知表示。


15. 描述 Transformer 如何知道什么样的 Weights 能更好地表达不同信息部分的注意力

本质:通过梯度下降从数据中学习

Transformer 本身并不预先”知道”什么样的权重好,而是通过反向传播,让任务目标(如最小化交叉熵损失)驱动模型自主发现有效的注意力模式。

学习过程:

(1)随机初始化

通常使用小随机值初始化(Xavier 或 Kaiming 初始化),此时 Attention 权重接近均匀分布。

(2)前向传播计算损失

当前权重下,Attention 产生的上下文向量质量低,导致预测误差(损失值高)。

(3)反向传播更新权重

梯度从输出层逆向传播:若将更多注意力分配给某个 token 能降低损失,对应的 和 的梯度会指向使该 Q-K 对点积更大的方向。

(4)多头捕获多样信息(Head Specialization)

不同头的权重矩阵从相同的随机初始化出发,因为参数独立且随机打破对称性,在训练中会分化为专注不同信息类型的”专家”:

  • 某些头关注句法依存(如主谓关系);
  • 某些头关注共指消解(代词与其指称对象);
  • 某些头关注局部上下文(相邻词);
  • 某些头关注位置偏移(固定步长的词)。

这种分工是涌现(Emergent)的,而非人工设计——完全由任务目标和数据驱动。

(5)Attention Visualization 验证

通过可视化 Attention 矩阵(如 BERTViz 工具),研究者证实了不同头的确学到了不同的语言关系(Vig & Belinkov, 2019;Clark et al., 2019),这验证了多头注意力自动发现信息结构的能力。


16. 如何减少 Transformer 中训练后的 Word Embeddings 的 Bias?

Embedding Bias 的来源:

预训练语料中存在社会偏见(性别、种族、职业刻板印象),模型在学习词向量时会将这些偏见编码进 Embedding 空间。例如,“医生”与”男性”在 Embedding 空间中更接近,“护士”与”女性”更接近。

去偏方法:

(1)Hard Debiasing(Bolukbasi et al., 2016)

针对词向量(Word2Vec / GloVe)提出的经典方法:

  • 确定”性别子空间”:对性别词对(he-she, man-woman 等)的差向量取主成分,得到性别轴 ;
  • 对中性词(如”doctor”)的 Embedding,去除其在性别轴上的投影:;
  • 均等化(Equalize):使本应中性的词对(如 “grandmother”-“grandfather”)等距于性别轴。

(2)Sent-Debias(基于 Sentence Embedding)

将上述思路扩展到 BERT 的上下文 Embedding:

  • 构建偏见子空间(通过包含性别词的模板句子得到上下文向量差异);
  • 在子空间上做投影去除,同时进行校正(Calibration)保持语义完整性。

(3)数据层面去偏

  • 在预训练语料中对性别词进行数据增强(Data Augmentation):将所有”他是护士”改写为”她是护士”同时保留,消除性别与职业的统计关联;
  • Counterfactual Data Augmentation(CDA):系统性地交换性别代词生成对抗样本,强制模型对性别保持中立。

(4)对抗训练(Adversarial Training)

在训练中加入一个判别器,预测 Embedding 中的敏感属性(如性别);将其损失以对抗方式加入总损失,迫使主模型的 Embedding 不携带可被利用的偏见信息:

(5)INLP(Iterative Nullspace Projection)

反复训练线性分类器预测偏见属性,将分类器权重构成的子空间从 Embedding 中正交投影去除,迭代多次直到偏见属性无法被线性预测。

局限性:

现有去偏方法通常只能处理已知的、可量化的偏见维度,且可能引入新的偏见或损害下游任务性能,全面消除偏见仍是开放问题。


17. 解决 Self-attention 和 Word 与自身 Attention 的问题

问题背景:

在 Self-attention 中,一个 token 会和序列中包括自身在内的所有 token 计算注意力分数。由于 Q 和 K 来自同一输入,通常一个 token 与自身的相似度(点积)会很高,导致注意力过度集中在自身上,而忽略周围的上下文信息。

问题的数学分析:

若 (同一 token 的 Query 和 Key 相同),则 ,这个值会相对较大,经过 softmax 后自身权重 可能远超其他位置,形成”自我关注主导”现象。

解决方案:

(1)Q 与 K 使用不同投影矩阵(Transformer 原生设计)

这是 Transformer 使用不同 和 的根本原因之一:即使是同一输入 ,经过不同投影后 和 变为不同的向量,打破了”自身点积一定最高”的对称性,让模型有能力学习到”看向其他位置”的权重。

(2)Talking-Heads Attention

在 Softmax 之前和之后各加一个线性变换,对 Attention 权重矩阵进行跨头混合(Head Mixing),使自注意力的模式更加多样化,减少单头过度自关注。

(3)Relative Position Encoding

引入相对位置偏置(如 T5 的 Relative Attention Bias、ALiBi),使距离 0(自身)的注意力偏置受到惩罚或限制,引导模型更多关注上下文位置。

(4)ε-Attention

在 Attention Score 矩阵的对角线上添加一个负偏置(),人为降低自注意力权重的初始值,但允许训练中动态调整。

(5)注意力正则化

加入辅助损失,鼓励每个 token 在序列范围内的注意力分布更加分散(如最大化注意力熵),防止注意力坍缩到单点。

实践意义:

在大多数标准 Transformer 实现中,使用不同 / 矩阵已基本解决了自关注过强的问题,且经过训练后模型会自动学习合适的注意力模式;只有在特殊场景(极深网络、特定任务)才需要上述额外手段。


18. Transformer 如何有效表示 NLP、CV 等 AI 领域的信息?

统一的”序列化 + 注意力”范式:

Transformer 的核心洞见是:任何信息都可以被表示为一组 token 的序列,不同 token 之间的关系通过 Attention 动态建模。这一抽象使 Transformer 能够跨域应用。

NLP 中的信息表示:

  • 离散词汇 → 连续向量:通过 Embedding 层,单词/子词被映射为高维连续向量;
  • 序列上下文:Self-Attention 捕获任意距离的词间依赖(句法、语义、共指等);
  • 层次语义:浅层学习词法/词性,深层学习语义/语用,构成语言理解的层次结构;
  • 位置信息:通过 Positional Encoding 保留词序,弥补 Attention 本身对位置不敏感的缺陷。

CV 中的信息表示(ViT 等):

  • 图像 → Patch Token:将图像切分为固定大小的 Patch(如 16×16 像素),每个 Patch 展平后线性投影为 Embedding,相当于视觉领域的”词”;
  • Patch 间关系:Self-Attention 捕获不同 Patch 之间的空间关联(远距离关系不受感受野限制,优于 CNN);
  • 全局感受野:第一层就能建立全局关联,这是 CNN 需要多层叠加才能实现的;
  • CLS Token:全局图像表示,用于图像分类,类比 BERT 的 [CLS]。

多模态中的信息表示:

  • 文本 token 和图像 Patch token 在同一 Transformer 中联合建模(如 CLIP、Flamingo、GPT-4V);
  • 跨模态 Cross-Attention 实现文本对图像区域的精准定位;
  • 统一的 Embedding 空间使不同模态的信息可以直接比较(zero-shot 检索)。

音频/视频/图结构:

  • 音频:将频谱分帧后作为 token(Audio Spectrogram Transformer);
  • 视频:将视频帧分 Patch + 时间维度(Video Transformer);
  • 图结构:节点 Embedding 作为 token,Graph Transformer 中 Attention 受图拓扑约束。

核心优势: Transformer 是一种通用的序列处理器(Universal Sequence Processor),其关键能力——任意位置间的直接信息交互——与信息的领域无关,只要能将信息序列化,就能用 Transformer 建模。


19. 通过 Ground Truth 训练 Transformer 使其具有泛化能力的原因

泛化能力的来源分析:

Transformer 通过 Ground Truth 监督信号训练,在训练分布之外的数据上依然能表现良好,这背后有深刻的理论与实践原因。

(1)大规模预训练:学习通用语言/视觉分布

在海量无标注数据上通过自监督预训练(MLM、CLM 等),模型学习到的不是特定任务的答案,而是数据分布本身的统计规律——语法规则、常识知识、视觉特征等。这些知识高度通用,能迁移到下游任务,这是泛化能力的基础。

(2)权重共享实现参数效率

同一组 Transformer 参数被序列中的每个位置共享使用,迫使模型学习位置无关的通用特征提取器,而非针对特定位置的记忆,增强了泛化性。

(3)Dropout 与正则化

Dropout 随机丢弃神经元,阻止模型对特定输入模式的过拟合,迫使模型学习鲁棒的特征表示,提升泛化性。Label Smoothing 防止模型对训练标签过于自信,改善在分布偏移下的校准性。

(4)注意力机制的归纳偏置弱(Inductive Bias 弱)

相比 CNN(局部性、平移不变性)和 RNN(序列性),Transformer 的归纳偏置较弱,没有强制施加特定的信息处理方式。这意味着模型需要从数据中学习所有关系,在数据充足时,学到的表示比有强归纳偏置的模型更加通用。

(5)残差连接的”多路径”学习

残差连接使深层 Transformer 等价于一个”指数级数量的不同深度浅层网络”的集成(Veit et al., 2016),集成效果天然提升泛化能力,减少对特定路径的依赖。

(6)大量 Ground Truth 覆盖的数据多样性

训练数据来自多领域、多风格、多任务的 Ground Truth,使模型学习到的映射关系覆盖了更宽泛的输入-输出分布,在未见域上也有参考。

(7)Scaling Law 效应

Kaplan et al. 的研究表明,模型参数量、数据量、计算量以幂律形式影响模型性能。在充足的 Ground Truth 数据规模下,更大的 Transformer 具有更强的泛化能力,这是当前大模型时代的核心驱动力。


20. Transformer 的 Attention 计算时为何需要进行 Scaling?

问题来源:

在计算 时,若不进行缩放,点积的数值会随着维度 的增大而增大:

数学推导:

设 的每个维度为均值 0、方差 1 的独立随机变量,则:

每项的期望为 0,方差为 1()。由于 个独立项求和,总方差为 ,即:

因此,当 较大时(如 64),点积的量级约为 ,进入 Softmax 的数值较大。

点积过大导致的问题:

Softmax 函数 在输入量级很大时会产生极端的梯度:

  • 最大值处梯度 (进入饱和区,即”梯度消失”);
  • 概率分布趋向 one-hot(极度稀疏),大量有用信息的注意力权重近似为 0。

这会导致梯度消失,训练收敛困难,且模型退化为”硬注意力”(winner-take-all),丧失了 Soft Attention 的优势。

缩放的效果:

除以 后:

点积的方差恢复为 1,进入 Softmax 的数值处于合理范围,梯度流动正常,注意力分布适度平滑。


21. 输入文本词汇的顺序如何由 Position Encoding 或 Multi-head Attention 实现?

核心问题:

Attention 机制本身是排列不变的(Permutation Invariant)——如果打乱输入 token 的顺序,每个 token 仍能关注所有其他 token,得到相同的 Attention 权重集合(只是对应内容变了),无法感知位置信息。因此,必须显式地向输入中注入位置信息。

Position Encoding 如何编码顺序:

(1)绝对位置编码(Sinusoidal PE,Vaswani et al.)

  • 每个位置 对应一个 维向量,加到 Token Embedding 上;
  • 不同位置的 PE 向量不同,且存在数学关系: 可表示为 的线性变换,使模型有能力推断相对位置;
  • 使用 / 交替保证不同维度捕获不同频率的位置信号。

(2)可学习位置编码(Learned PE,BERT/GPT)

直接为每个位置 学习一个 Embedding 向量 ,从随机初始化训练得到。灵活但受最大序列长度限制,无法外推到训练时未见的更长序列。

Multi-head Attention 如何利用位置信息:

Position Encoding 将位置信息编码进了 token 的 Embedding,之后:

  • 计算 ,:Q 和 K 都携带了位置信息(因为 );
  • Q-K 点积不仅计算了语义相似度,也计算了位置相关性(不同位置的 PE 相互作用);
  • 模型通过训练学会了利用位置相关的 Q-K 对齐来建立位置感知的注意力模式。

相对位置编码(Relative PE)的进一步改进:

  • Shaw et al.(2018):直接在 Q-K 点积中加入相对位置偏置 ,使 score 同时反映内容相似度和相对位置距离;
  • T5 Relative Bias:用可学习的标量偏置(bucketed 相对距离)修正 Attention Score;
  • RoPE(Rotary Position Embedding):通过旋转矩阵将绝对位置编码在 Q/K 上,使点积自然反映相对位置,并支持长度外推(LLaMA、GPT-NeoX 使用);
  • ALiBi:用线性距离惩罚直接加在 Attention Score 上,无需额外参数且支持长度外推。

22. 描述 Multi-head Attention 的实现方式

完整实现流程(以 PyTorch 风格伪代码说明):

输入:X ∈ R^(B, n, d_model),H 个头,d_k = d_v = d_model/H

1. 线性投影(一次性计算所有头)
   Q = X @ W_Q    # (B, n, d_model)
   K = X @ W_K    # (B, n, d_model)
   V = X @ W_V    # (B, n, d_model)

2. 分割为多头(Logical Partition via Reshape + Transpose)
   Q → (B, H, n, d_k)  # reshape(B, n, H, d_k) then transpose(1,2)
   K → (B, H, n, d_k)
   V → (B, H, n, d_v)

3. 逐头计算 Scaled Dot-Product Attention(可并行)
   score = Q @ K.transpose(-2, -1) / sqrt(d_k)  # (B, H, n, n)
   if mask: score = score.masked_fill(mask==0, -1e9)
   attn = softmax(score, dim=-1)                  # (B, H, n, n)
   attn = dropout(attn)
   out = attn @ V                                  # (B, H, n, d_v)

4. 合并多头(Transpose + Reshape)
   out → (B, n, H*d_v) = (B, n, d_model)

5. 输出线性投影
   output = out @ W_O    # (B, n, d_model)

关键细节:

  • FlashAttention 优化:将 score 矩阵的计算分块(Tiling),避免显式存储 矩阵(显存 ),通过 IO 感知的分块计算将显存降至 ,同时加速计算(GPU 内存访问优化);
  • Grouped Query Attention(GQA):LLaMA-2、GPT-3.5 等使用 GQA,将 K/V 的头数减少(多个 Q 共享同一组 K/V),推理时 KV Cache 显存减少 倍( 为组数),同时保留多头 Q 的多样性;
  • Multi-Query Attention(MQA):GQA 的极端情况,所有 Q 头共享一组 K/V(Blazing Inference);
  • 输出投影 融合多头信息,参数量与单头等同,但多头使模型在更丰富的子空间上学习。

23. 描述 Transformer 中 non-linear 操作的类型和数学原理

非线性操作的必要性:

若 Transformer 中所有操作都是线性的(矩阵乘法 + 加法),则整个网络等价于单层线性变换,无论多深都只能学习线性映射,极大限制表达能力。非线性激活函数引入了函数的非线性,使模型能够拟合任意复杂的函数。

Transformer 中的主要非线性操作:

(1)FFN 中的激活函数

这是 Transformer 中最主要的非线性来源。

ReLU(原版 Transformer):

  • 计算简单,缓解梯度消失;
  • 缺点:存在”死亡 ReLU”问题(负区间梯度为 0,神经元可能永久失活)。

GELU(BERT、GPT-2 等广泛使用):
其中 为标准正态 CDF。GELU 在 时有小的负梯度(不完全死亡),且平滑,实践中优于 ReLU。

SwiGLU(LLaMA、PaLM 等现代大模型):
门控机制 (逐元素乘法)引入了额外的乘法非线性,Noam Shazeer 实验表明 SwiGLU 优于 GELU 和 ReLU,GPT-4、LLaMA 均采用此激活。

(2)Softmax(注意力权重归一化)

Softmax 是非线性的(指数函数),且使注意力权重成为序列中所有位置的全局竞争关系,这是 Transformer 动态路由能力的核心。

(3)Layer Normalization(弱非线性)

除法操作(方差归一化)使 LN 严格上是非线性的(分母依赖输入),但其主要作用是稳定分布而非引入表达非线性。

(4)Embedding 查表(非线性)

从离散 ID 到连续向量的映射是一种离散查表操作,本质上是高度非线性的信息转换(不同词汇的 Embedding 之间不存在线性关系)。


24. 为何 Transformer 论文作者声称”Attention is all you need”?

论文题目的含义:

“Attention is all you need”(Vaswani et al., 2017)表达的核心主张是:在序列建模任务中,注意力机制(Attention)足以替代 RNN/CNN,仅凭 Attention 构建的模型(Transformer)就能达到当时的最优性能。

技术层面的论据:

(1)摆脱序列依赖,实现完全并行化

RNN 必须按时间步串行处理,无法充分利用 GPU 并行计算。Transformer 用 Attention 取代 RNN,所有位置同时计算,训练速度大幅提升。

(2)直接建模长距离依赖

RNN 需要将信息”压缩”通过所有中间步骤来传递,长序列中早期信息容易丢失(梯度消失)。Attention 能直接计算任意两个位置之间的关联,路径长度为 (而 RNN 为 )。

(3)无需卷积的局部性假设

CNN 通过局部感受野捕获特征,需要多层叠加才能建立全局关联。Attention 从第一层就能建立全局依赖,更适合语言等全局关联强的数据。

(4)机器翻译 BLEU 分数超越当时 SOTA

原论文在 WMT 英德和英法翻译任务上,用 Transformer 以更少的训练时间(单机 8 GPU 训练 3.5 天)超越了所有基于 RNN 和 CNN 的序列到序列模型,“Attention 足够了”的结论有实验支撑。

深层含义与局限:

当然,Attention 并非字面意义上的”全部”——Transformer 中仍有 FFN(提供非线性和知识存储)、LayerNorm(稳定训练)、残差连接(梯度传播)等不可或缺的组件。论文标题更多是一种有力的宣言,强调注意力机制是序列建模中最核心的归纳机制,足以取代 RNN/CNN 在序列处理中的主导地位。

后续的 BERT、GPT、ViT 等一系列工作充分验证了这一主张在 NLP 和 CV 的正确性。


25. 谈一下 Teacher Forcing 的数学原理及其在 Transformer 中的应用

Teacher Forcing 定义:

Teacher Forcing 是一种训练技术:在每个时间步,使用真实的 Ground Truth 作为下一步的输入,而非模型在上一步的预测输出。

数学表达:

设目标序列为 ,传统自回归训练:

Teacher Forcing:

损失函数:

在 Transformer 中的实现:

Teacher Forcing 与 Transformer 的 Causal Mask 机制天然结合:

  1. Decoder 输入:,整个序列一次性输入;
  2. Causal Mask 确保位置 只能看到 (训练时的 GT),不能看 及之后;
  3. 所有位置的损失并行计算,无需串行前向传播。

这种设计使 Transformer 相比 RNN 的 Teacher Forcing 有额外优势:完全并行,训练速度理论上不随序列长度增加而增加计算步数。

Teacher Forcing 的优缺点:

优点缺点
训练稳定,梯度明确暴露偏差(Exposure Bias):训练用 GT,推理用模型自身输出,分布不匹配
完全并行化(Transformer 的核心优势)训练中模型未学会”从错误中恢复”
避免早期训练中错误累积生成长序列时误差容易雪崩

缓解暴露偏差的方法:

  • Scheduled Sampling:随着训练进行,逐步用模型输出替代 GT;
  • REINFORCE / Sequence-level Training:直接优化序列级别的评估指标(如 BLEU),无需 Teacher Forcing;
  • Minimum Risk Training(MRT):直接最小化期望风险(期望损失),采样多个序列评估;
  • Diffusion-based 生成模型:通过噪声-去噪过程从根本上避免自回归依赖,消除暴露偏差。

五、性能优化与模型改进(7题)


1. Transformer 采用 Inference 流程进行 Training 的问题

(本题与第四章第 6 题高度重合,此处补充侧重性能视角的分析。)

核心问题:训练速度与收敛性双重损失

(1)训练速度问题

在自回归 Inference 流程中,第 步的输入依赖于第 步的输出,形成严格的串行依赖链。设序列长度为 ,则:

  • Training with Teacher Forcing:单个 batch 前向传播 步(矩阵并行);
  • Training with Inference Flow:单个 batch 需 步串行前向传播。

对于 ,等效于训练速度下降 512 倍,在工程上完全不可接受。

(2)梯度传播问题

串行自回归链相当于一个展开的 步 RNN,反向传播时梯度需通过 个时间步传递,极易出现梯度消失(即便有残差连接,跨时间步的梯度仍会衰减)。

(3)Loss 优化目标不一致

如果每步用模型预测作为下一步输入,Loss 是序列级联合分布下的对数似然,梯度计算需 BPTT(Backpropagation Through Time),计算图非常复杂,内存峰值随序列长度线性增长。

(4)工程结论

Teacher Forcing + Causal Mask 是 Transformer 训练的唯一实用方案,牺牲训练-推理一致性换取训练效率,是 Transformer 能够 scale 到大规模数据集的关键工程决策。


2. Transformer 的 Matrix Dimensions 为何是 3D 的?

(本题与第四章第 7 题重合,此处补充分布式训练视角。)

从分布式训练视角理解 3D 维度的意义:

在分布式训练中,3D 张量的不同维度支持不同的并行化策略:

  • Batch 维度()→ 数据并行:将 batch 切分到多个 GPU,每个 GPU 处理 个样本,梯度通过 All-Reduce 同步;
  • 序列维度()→ 序列并行(Megatron-LM):将长序列切分到多个 GPU,每个 GPU 处理部分 token 的 Dropout 和 LayerNorm,减少单卡内存;
  • 隐层维度()→ 张量并行(Tensor Parallelism):将 等矩阵按列/行切分,每个 GPU 计算部分维度的输出,通过 All-Reduce 合并,支持超大模型单机不能放下的场景。

多头 Attention 的 4D 张量 进一步支持头并行:不同 GPU 负责不同的头,天然解耦,通信量极小。


3. 描述单 Encoder 和 Decoder 的 Transformer 使用 Attention 的地方及其功能

(与第四章第 8 题高度重合,此处从”最小化 Transformer”角度补充。)

“单层”的最小化 Transformer 模型:

一个仅有单个 Encoder + 单个 Decoder 层的 Transformer 仍然包含全部三种 Attention,每种 Attention 的功能定位与深层网络相同,但表达能力受限:

  • Encoder Self-Attention(1 次):对源序列做一次全局上下文融合,相当于 “软搜索”每个源 token 的全局语境;
  • Decoder Masked Self-Attention(1 次):维持目标序列的历史,确保因果自回归性;
  • Decoder Cross-Attention(1 次):建立源序列与目标序列的一一对应关系(对齐)。

这三种 Attention 的组合是序列到序列任务的最小功能完备集,多层 Transformer 只是通过叠加来精炼表示,而非引入新的结构性功能。


4. Training 和 Inference 时 Masking 在 Transformer Attention 机制中的功能和数学实现

(与第四章第 9 题高度重合,此处补充 Flash Attention 中的 Mask 实现。)

FlashAttention 中的 Mask 实现:

FlashAttention 将注意力矩阵分块计算(Tiling),Mask 需要在每个分块内独立应用:

对于块 ,score 块为 ,Mask 块 对应相同的行/列区间:

其中 对 Padding 位置设为 ,Causal Mask 下对上三角部分设为 。分块 softmax 使用在线归一化算法(Online Softmax),在分块遍历过程中维护全局最大值和归一化分母,确保数值稳定性。

Inference 时的动态 Mask(KV Cache 场景):

推理第 步时,Causal Mask 是 的下三角矩阵(而非训练时固定的 )。配合 KV Cache,实际只计算新 token 的 Query 与所有历史 K/V 的 Attention,Mask 退化为:当前 Query 可以看所有历史 K/V(全部为 1),无需实际应用 Causal Mask(因为历史 token 天然在左侧)。


5. 描述 Transformer 的 Training Loss 工作流程和数学公式

(与第四章第 10 题高度重合,此处补充更多变体。)

不同训练目标的 Loss:

Seq2Seq 任务(机器翻译、摘要):

语言模型预训练(GPT 系列,CLM):

BERT 预训练(MLM + NSP):

ELECTRA(RTD):

其中 平衡生成器和判别器的贡献, 是判别器对每个 token 是否被替换的二分类概率。

学习率调度(Warmup + 衰减):

原版 Transformer 使用的学习率公式:

前 步线性增大,之后以 衰减,避免训练初期学习率过大导致不稳定。


6. 阐述 Multi-head Attention 中通过 Linear layer 计算 QKV 的 partition

(与第四章第 11 题高度重合,此处补充现代变体 GQA 的分割方式。)

Grouped Query Attention(GQA)的 Partition:

GQA 将 个 Query 头分为 组(),每组共享一个 K/V 头:

  • Q 的投影矩阵:,逻辑上分割为 个头;
  • K/V 的投影矩阵:,只有 个头;
  • 对于每组中的 个 Q 头,它们共享同一组 K 和 V 进行 Attention 计算;
  • KV Cache 只需存储 个头(而非 个),推理时显存节省 倍。

物理实现:

通过 expand 操作将 组 K/V 广播到 头(不占用额外显存,只是共享指针),实现逻辑上的分组共享。


7. 如何减少 Transformer 中训练后的 Word Embeddings 的 Bias?

(与第四章第 16 题高度重合,此处补充后训练阶段的实践策略。)

RLHF/DPO 在去偏中的作用:

现代大语言模型(如 ChatGPT、Claude)通过人类反馈强化学习(RLHF)或直接偏好优化(DPO)进行对齐训练,在去除有害偏见方面效果显著:

  • RLHF:人类标注者对模型输出的偏见程度打分,训练奖励模型(RM),再用 PPO 优化语言模型使其更符合人类价值观;
  • DPO:直接在偏好对(preferred vs. rejected)上优化,无需显式训练奖励模型,更稳定高效;
  • Constitutional AI(Claude 的方法):通过预定义原则(Constitution)指导模型自我批评和修正,系统性地减少偏见和有害输出。

这些后训练方法比直接修改 Embedding 更全面,因为偏见不仅存在于 Embedding 层,还分布在整个网络的参数中。