Transformer 面试题精讲
四、技术深入与创新应用(续,第14~25题)
14. 解释 Transformer 中 Attention Score 衡量不同 Words Relevance 的原理
Attention Score 的数学定义:
Attention Score 衡量的是 token (Query)与 token (Key)之间的相关性。
为什么点积能衡量相关性:
点积是向量相似度的度量工具:
- 当 和 方向相近(余弦相似度高)时,点积大 → 注意力权重高;
- 当方向正交或相反时,点积趋近 0 或负数 → 注意力权重低。
通过学习建立相关性:
关键在于 和 是可学习的参数。训练过程中,梯度反向传播驱使模型调整这两个投影矩阵,使”语义相关”的 Q-K 对在投影后具有高点积,“语义无关”的 Q-K 对点积低。
例如,在机器翻译任务中,模型会学习使英文”cat”的 K 向量与中文”猫”的 Q 向量在共同空间中高度对齐,从而实现跨语言的语义对齐。
Softmax 归一化的作用:
Softmax 将原始分数转化为概率分布:
- 保证权重之和为 1,可解释为”分配注意力的比例”;
- 放大最高分数位置的权重(由于指数函数的非线性),实现稀疏关注(最相关的位置获得大部分权重);
- 注意力权重可视化用于解释模型决策。
直觉理解:
可以将 Attention 理解为一种”软检索”(Soft Retrieval)——Q 是搜索词,K 是数据库索引,V 是数据内容。Attention Score 决定从哪些”记录”中提取多少信息,所有相关记录的 V 按权重加权求和,得到当前 token 的上下文感知表示。
15. 描述 Transformer 如何知道什么样的 Weights 能更好地表达不同信息部分的注意力
本质:通过梯度下降从数据中学习
Transformer 本身并不预先”知道”什么样的权重好,而是通过反向传播,让任务目标(如最小化交叉熵损失)驱动模型自主发现有效的注意力模式。
学习过程:
(1)随机初始化
通常使用小随机值初始化(Xavier 或 Kaiming 初始化),此时 Attention 权重接近均匀分布。
(2)前向传播计算损失
当前权重下,Attention 产生的上下文向量质量低,导致预测误差(损失值高)。
(3)反向传播更新权重
梯度从输出层逆向传播:若将更多注意力分配给某个 token 能降低损失,对应的 和 的梯度会指向使该 Q-K 对点积更大的方向。
(4)多头捕获多样信息(Head Specialization)
不同头的权重矩阵从相同的随机初始化出发,因为参数独立且随机打破对称性,在训练中会分化为专注不同信息类型的”专家”:
- 某些头关注句法依存(如主谓关系);
- 某些头关注共指消解(代词与其指称对象);
- 某些头关注局部上下文(相邻词);
- 某些头关注位置偏移(固定步长的词)。
这种分工是涌现(Emergent)的,而非人工设计——完全由任务目标和数据驱动。
(5)Attention Visualization 验证
通过可视化 Attention 矩阵(如 BERTViz 工具),研究者证实了不同头的确学到了不同的语言关系(Vig & Belinkov, 2019;Clark et al., 2019),这验证了多头注意力自动发现信息结构的能力。
16. 如何减少 Transformer 中训练后的 Word Embeddings 的 Bias?
Embedding Bias 的来源:
预训练语料中存在社会偏见(性别、种族、职业刻板印象),模型在学习词向量时会将这些偏见编码进 Embedding 空间。例如,“医生”与”男性”在 Embedding 空间中更接近,“护士”与”女性”更接近。
去偏方法:
(1)Hard Debiasing(Bolukbasi et al., 2016)
针对词向量(Word2Vec / GloVe)提出的经典方法:
- 确定”性别子空间”:对性别词对(he-she, man-woman 等)的差向量取主成分,得到性别轴 ;
- 对中性词(如”doctor”)的 Embedding,去除其在性别轴上的投影:;
- 均等化(Equalize):使本应中性的词对(如 “grandmother”-“grandfather”)等距于性别轴。
(2)Sent-Debias(基于 Sentence Embedding)
将上述思路扩展到 BERT 的上下文 Embedding:
- 构建偏见子空间(通过包含性别词的模板句子得到上下文向量差异);
- 在子空间上做投影去除,同时进行校正(Calibration)保持语义完整性。
(3)数据层面去偏
- 在预训练语料中对性别词进行数据增强(Data Augmentation):将所有”他是护士”改写为”她是护士”同时保留,消除性别与职业的统计关联;
- Counterfactual Data Augmentation(CDA):系统性地交换性别代词生成对抗样本,强制模型对性别保持中立。
(4)对抗训练(Adversarial Training)
在训练中加入一个判别器,预测 Embedding 中的敏感属性(如性别);将其损失以对抗方式加入总损失,迫使主模型的 Embedding 不携带可被利用的偏见信息:
(5)INLP(Iterative Nullspace Projection)
反复训练线性分类器预测偏见属性,将分类器权重构成的子空间从 Embedding 中正交投影去除,迭代多次直到偏见属性无法被线性预测。
局限性:
现有去偏方法通常只能处理已知的、可量化的偏见维度,且可能引入新的偏见或损害下游任务性能,全面消除偏见仍是开放问题。
17. 解决 Self-attention 和 Word 与自身 Attention 的问题
问题背景:
在 Self-attention 中,一个 token 会和序列中包括自身在内的所有 token 计算注意力分数。由于 Q 和 K 来自同一输入,通常一个 token 与自身的相似度(点积)会很高,导致注意力过度集中在自身上,而忽略周围的上下文信息。
问题的数学分析:
若 (同一 token 的 Query 和 Key 相同),则 ,这个值会相对较大,经过 softmax 后自身权重 可能远超其他位置,形成”自我关注主导”现象。
解决方案:
(1)Q 与 K 使用不同投影矩阵(Transformer 原生设计)
这是 Transformer 使用不同 和 的根本原因之一:即使是同一输入 ,经过不同投影后 和 变为不同的向量,打破了”自身点积一定最高”的对称性,让模型有能力学习到”看向其他位置”的权重。
(2)Talking-Heads Attention
在 Softmax 之前和之后各加一个线性变换,对 Attention 权重矩阵进行跨头混合(Head Mixing),使自注意力的模式更加多样化,减少单头过度自关注。
(3)Relative Position Encoding
引入相对位置偏置(如 T5 的 Relative Attention Bias、ALiBi),使距离 0(自身)的注意力偏置受到惩罚或限制,引导模型更多关注上下文位置。
(4)ε-Attention
在 Attention Score 矩阵的对角线上添加一个负偏置(),人为降低自注意力权重的初始值,但允许训练中动态调整。
(5)注意力正则化
加入辅助损失,鼓励每个 token 在序列范围内的注意力分布更加分散(如最大化注意力熵),防止注意力坍缩到单点。
实践意义:
在大多数标准 Transformer 实现中,使用不同 / 矩阵已基本解决了自关注过强的问题,且经过训练后模型会自动学习合适的注意力模式;只有在特殊场景(极深网络、特定任务)才需要上述额外手段。
18. Transformer 如何有效表示 NLP、CV 等 AI 领域的信息?
统一的”序列化 + 注意力”范式:
Transformer 的核心洞见是:任何信息都可以被表示为一组 token 的序列,不同 token 之间的关系通过 Attention 动态建模。这一抽象使 Transformer 能够跨域应用。
NLP 中的信息表示:
- 离散词汇 → 连续向量:通过 Embedding 层,单词/子词被映射为高维连续向量;
- 序列上下文:Self-Attention 捕获任意距离的词间依赖(句法、语义、共指等);
- 层次语义:浅层学习词法/词性,深层学习语义/语用,构成语言理解的层次结构;
- 位置信息:通过 Positional Encoding 保留词序,弥补 Attention 本身对位置不敏感的缺陷。
CV 中的信息表示(ViT 等):
- 图像 → Patch Token:将图像切分为固定大小的 Patch(如 16×16 像素),每个 Patch 展平后线性投影为 Embedding,相当于视觉领域的”词”;
- Patch 间关系:Self-Attention 捕获不同 Patch 之间的空间关联(远距离关系不受感受野限制,优于 CNN);
- 全局感受野:第一层就能建立全局关联,这是 CNN 需要多层叠加才能实现的;
- CLS Token:全局图像表示,用于图像分类,类比 BERT 的 [CLS]。
多模态中的信息表示:
- 文本 token 和图像 Patch token 在同一 Transformer 中联合建模(如 CLIP、Flamingo、GPT-4V);
- 跨模态 Cross-Attention 实现文本对图像区域的精准定位;
- 统一的 Embedding 空间使不同模态的信息可以直接比较(zero-shot 检索)。
音频/视频/图结构:
- 音频:将频谱分帧后作为 token(Audio Spectrogram Transformer);
- 视频:将视频帧分 Patch + 时间维度(Video Transformer);
- 图结构:节点 Embedding 作为 token,Graph Transformer 中 Attention 受图拓扑约束。
核心优势: Transformer 是一种通用的序列处理器(Universal Sequence Processor),其关键能力——任意位置间的直接信息交互——与信息的领域无关,只要能将信息序列化,就能用 Transformer 建模。
19. 通过 Ground Truth 训练 Transformer 使其具有泛化能力的原因
泛化能力的来源分析:
Transformer 通过 Ground Truth 监督信号训练,在训练分布之外的数据上依然能表现良好,这背后有深刻的理论与实践原因。
(1)大规模预训练:学习通用语言/视觉分布
在海量无标注数据上通过自监督预训练(MLM、CLM 等),模型学习到的不是特定任务的答案,而是数据分布本身的统计规律——语法规则、常识知识、视觉特征等。这些知识高度通用,能迁移到下游任务,这是泛化能力的基础。
(2)权重共享实现参数效率
同一组 Transformer 参数被序列中的每个位置共享使用,迫使模型学习位置无关的通用特征提取器,而非针对特定位置的记忆,增强了泛化性。
(3)Dropout 与正则化
Dropout 随机丢弃神经元,阻止模型对特定输入模式的过拟合,迫使模型学习鲁棒的特征表示,提升泛化性。Label Smoothing 防止模型对训练标签过于自信,改善在分布偏移下的校准性。
(4)注意力机制的归纳偏置弱(Inductive Bias 弱)
相比 CNN(局部性、平移不变性)和 RNN(序列性),Transformer 的归纳偏置较弱,没有强制施加特定的信息处理方式。这意味着模型需要从数据中学习所有关系,在数据充足时,学到的表示比有强归纳偏置的模型更加通用。
(5)残差连接的”多路径”学习
残差连接使深层 Transformer 等价于一个”指数级数量的不同深度浅层网络”的集成(Veit et al., 2016),集成效果天然提升泛化能力,减少对特定路径的依赖。
(6)大量 Ground Truth 覆盖的数据多样性
训练数据来自多领域、多风格、多任务的 Ground Truth,使模型学习到的映射关系覆盖了更宽泛的输入-输出分布,在未见域上也有参考。
(7)Scaling Law 效应
Kaplan et al. 的研究表明,模型参数量、数据量、计算量以幂律形式影响模型性能。在充足的 Ground Truth 数据规模下,更大的 Transformer 具有更强的泛化能力,这是当前大模型时代的核心驱动力。
20. Transformer 的 Attention 计算时为何需要进行 Scaling?
问题来源:
在计算 时,若不进行缩放,点积的数值会随着维度 的增大而增大:
数学推导:
设 的每个维度为均值 0、方差 1 的独立随机变量,则:
每项的期望为 0,方差为 1()。由于 个独立项求和,总方差为 ,即:
因此,当 较大时(如 64),点积的量级约为 ,进入 Softmax 的数值较大。
点积过大导致的问题:
Softmax 函数 在输入量级很大时会产生极端的梯度:
- 最大值处梯度 (进入饱和区,即”梯度消失”);
- 概率分布趋向 one-hot(极度稀疏),大量有用信息的注意力权重近似为 0。
这会导致梯度消失,训练收敛困难,且模型退化为”硬注意力”(winner-take-all),丧失了 Soft Attention 的优势。
缩放的效果:
除以 后:
点积的方差恢复为 1,进入 Softmax 的数值处于合理范围,梯度流动正常,注意力分布适度平滑。
21. 输入文本词汇的顺序如何由 Position Encoding 或 Multi-head Attention 实现?
核心问题:
Attention 机制本身是排列不变的(Permutation Invariant)——如果打乱输入 token 的顺序,每个 token 仍能关注所有其他 token,得到相同的 Attention 权重集合(只是对应内容变了),无法感知位置信息。因此,必须显式地向输入中注入位置信息。
Position Encoding 如何编码顺序:
(1)绝对位置编码(Sinusoidal PE,Vaswani et al.)
- 每个位置 对应一个 维向量,加到 Token Embedding 上;
- 不同位置的 PE 向量不同,且存在数学关系: 可表示为 的线性变换,使模型有能力推断相对位置;
- 使用 / 交替保证不同维度捕获不同频率的位置信号。
(2)可学习位置编码(Learned PE,BERT/GPT)
直接为每个位置 学习一个 Embedding 向量 ,从随机初始化训练得到。灵活但受最大序列长度限制,无法外推到训练时未见的更长序列。
Multi-head Attention 如何利用位置信息:
Position Encoding 将位置信息编码进了 token 的 Embedding,之后:
- 计算 ,:Q 和 K 都携带了位置信息(因为 );
- Q-K 点积不仅计算了语义相似度,也计算了位置相关性(不同位置的 PE 相互作用);
- 模型通过训练学会了利用位置相关的 Q-K 对齐来建立位置感知的注意力模式。
相对位置编码(Relative PE)的进一步改进:
- Shaw et al.(2018):直接在 Q-K 点积中加入相对位置偏置 ,使 score 同时反映内容相似度和相对位置距离;
- T5 Relative Bias:用可学习的标量偏置(bucketed 相对距离)修正 Attention Score;
- RoPE(Rotary Position Embedding):通过旋转矩阵将绝对位置编码在 Q/K 上,使点积自然反映相对位置,并支持长度外推(LLaMA、GPT-NeoX 使用);
- ALiBi:用线性距离惩罚直接加在 Attention Score 上,无需额外参数且支持长度外推。
22. 描述 Multi-head Attention 的实现方式
完整实现流程(以 PyTorch 风格伪代码说明):
输入:X ∈ R^(B, n, d_model),H 个头,d_k = d_v = d_model/H
1. 线性投影(一次性计算所有头)
Q = X @ W_Q # (B, n, d_model)
K = X @ W_K # (B, n, d_model)
V = X @ W_V # (B, n, d_model)
2. 分割为多头(Logical Partition via Reshape + Transpose)
Q → (B, H, n, d_k) # reshape(B, n, H, d_k) then transpose(1,2)
K → (B, H, n, d_k)
V → (B, H, n, d_v)
3. 逐头计算 Scaled Dot-Product Attention(可并行)
score = Q @ K.transpose(-2, -1) / sqrt(d_k) # (B, H, n, n)
if mask: score = score.masked_fill(mask==0, -1e9)
attn = softmax(score, dim=-1) # (B, H, n, n)
attn = dropout(attn)
out = attn @ V # (B, H, n, d_v)
4. 合并多头(Transpose + Reshape)
out → (B, n, H*d_v) = (B, n, d_model)
5. 输出线性投影
output = out @ W_O # (B, n, d_model)
关键细节:
- FlashAttention 优化:将 score 矩阵的计算分块(Tiling),避免显式存储 矩阵(显存 ),通过 IO 感知的分块计算将显存降至 ,同时加速计算(GPU 内存访问优化);
- Grouped Query Attention(GQA):LLaMA-2、GPT-3.5 等使用 GQA,将 K/V 的头数减少(多个 Q 共享同一组 K/V),推理时 KV Cache 显存减少 倍( 为组数),同时保留多头 Q 的多样性;
- Multi-Query Attention(MQA):GQA 的极端情况,所有 Q 头共享一组 K/V(Blazing Inference);
- 输出投影 融合多头信息,参数量与单头等同,但多头使模型在更丰富的子空间上学习。
23. 描述 Transformer 中 non-linear 操作的类型和数学原理
非线性操作的必要性:
若 Transformer 中所有操作都是线性的(矩阵乘法 + 加法),则整个网络等价于单层线性变换,无论多深都只能学习线性映射,极大限制表达能力。非线性激活函数引入了函数的非线性,使模型能够拟合任意复杂的函数。
Transformer 中的主要非线性操作:
(1)FFN 中的激活函数
这是 Transformer 中最主要的非线性来源。
ReLU(原版 Transformer):
- 计算简单,缓解梯度消失;
- 缺点:存在”死亡 ReLU”问题(负区间梯度为 0,神经元可能永久失活)。
GELU(BERT、GPT-2 等广泛使用):
其中 为标准正态 CDF。GELU 在 时有小的负梯度(不完全死亡),且平滑,实践中优于 ReLU。
SwiGLU(LLaMA、PaLM 等现代大模型):
门控机制 (逐元素乘法)引入了额外的乘法非线性,Noam Shazeer 实验表明 SwiGLU 优于 GELU 和 ReLU,GPT-4、LLaMA 均采用此激活。
(2)Softmax(注意力权重归一化)
Softmax 是非线性的(指数函数),且使注意力权重成为序列中所有位置的全局竞争关系,这是 Transformer 动态路由能力的核心。
(3)Layer Normalization(弱非线性)
除法操作(方差归一化)使 LN 严格上是非线性的(分母依赖输入),但其主要作用是稳定分布而非引入表达非线性。
(4)Embedding 查表(非线性)
从离散 ID 到连续向量的映射是一种离散查表操作,本质上是高度非线性的信息转换(不同词汇的 Embedding 之间不存在线性关系)。
24. 为何 Transformer 论文作者声称”Attention is all you need”?
论文题目的含义:
“Attention is all you need”(Vaswani et al., 2017)表达的核心主张是:在序列建模任务中,注意力机制(Attention)足以替代 RNN/CNN,仅凭 Attention 构建的模型(Transformer)就能达到当时的最优性能。
技术层面的论据:
(1)摆脱序列依赖,实现完全并行化
RNN 必须按时间步串行处理,无法充分利用 GPU 并行计算。Transformer 用 Attention 取代 RNN,所有位置同时计算,训练速度大幅提升。
(2)直接建模长距离依赖
RNN 需要将信息”压缩”通过所有中间步骤来传递,长序列中早期信息容易丢失(梯度消失)。Attention 能直接计算任意两个位置之间的关联,路径长度为 (而 RNN 为 )。
(3)无需卷积的局部性假设
CNN 通过局部感受野捕获特征,需要多层叠加才能建立全局关联。Attention 从第一层就能建立全局依赖,更适合语言等全局关联强的数据。
(4)机器翻译 BLEU 分数超越当时 SOTA
原论文在 WMT 英德和英法翻译任务上,用 Transformer 以更少的训练时间(单机 8 GPU 训练 3.5 天)超越了所有基于 RNN 和 CNN 的序列到序列模型,“Attention 足够了”的结论有实验支撑。
深层含义与局限:
当然,Attention 并非字面意义上的”全部”——Transformer 中仍有 FFN(提供非线性和知识存储)、LayerNorm(稳定训练)、残差连接(梯度传播)等不可或缺的组件。论文标题更多是一种有力的宣言,强调注意力机制是序列建模中最核心的归纳机制,足以取代 RNN/CNN 在序列处理中的主导地位。
后续的 BERT、GPT、ViT 等一系列工作充分验证了这一主张在 NLP 和 CV 的正确性。
25. 谈一下 Teacher Forcing 的数学原理及其在 Transformer 中的应用
Teacher Forcing 定义:
Teacher Forcing 是一种训练技术:在每个时间步,使用真实的 Ground Truth 作为下一步的输入,而非模型在上一步的预测输出。
数学表达:
设目标序列为 ,传统自回归训练:
Teacher Forcing:
损失函数:
在 Transformer 中的实现:
Teacher Forcing 与 Transformer 的 Causal Mask 机制天然结合:
- Decoder 输入:,整个序列一次性输入;
- Causal Mask 确保位置 只能看到 (训练时的 GT),不能看 及之后;
- 所有位置的损失并行计算,无需串行前向传播。
这种设计使 Transformer 相比 RNN 的 Teacher Forcing 有额外优势:完全并行,训练速度理论上不随序列长度增加而增加计算步数。
Teacher Forcing 的优缺点:
| 优点 | 缺点 |
|---|---|
| 训练稳定,梯度明确 | 暴露偏差(Exposure Bias):训练用 GT,推理用模型自身输出,分布不匹配 |
| 完全并行化(Transformer 的核心优势) | 训练中模型未学会”从错误中恢复” |
| 避免早期训练中错误累积 | 生成长序列时误差容易雪崩 |
缓解暴露偏差的方法:
- Scheduled Sampling:随着训练进行,逐步用模型输出替代 GT;
- REINFORCE / Sequence-level Training:直接优化序列级别的评估指标(如 BLEU),无需 Teacher Forcing;
- Minimum Risk Training(MRT):直接最小化期望风险(期望损失),采样多个序列评估;
- Diffusion-based 生成模型:通过噪声-去噪过程从根本上避免自回归依赖,消除暴露偏差。
五、性能优化与模型改进(7题)
1. Transformer 采用 Inference 流程进行 Training 的问题
(本题与第四章第 6 题高度重合,此处补充侧重性能视角的分析。)
核心问题:训练速度与收敛性双重损失
(1)训练速度问题
在自回归 Inference 流程中,第 步的输入依赖于第 步的输出,形成严格的串行依赖链。设序列长度为 ,则:
- Training with Teacher Forcing:单个 batch 前向传播 步(矩阵并行);
- Training with Inference Flow:单个 batch 需 步串行前向传播。
对于 ,等效于训练速度下降 512 倍,在工程上完全不可接受。
(2)梯度传播问题
串行自回归链相当于一个展开的 步 RNN,反向传播时梯度需通过 个时间步传递,极易出现梯度消失(即便有残差连接,跨时间步的梯度仍会衰减)。
(3)Loss 优化目标不一致
如果每步用模型预测作为下一步输入,Loss 是序列级联合分布下的对数似然,梯度计算需 BPTT(Backpropagation Through Time),计算图非常复杂,内存峰值随序列长度线性增长。
(4)工程结论
Teacher Forcing + Causal Mask 是 Transformer 训练的唯一实用方案,牺牲训练-推理一致性换取训练效率,是 Transformer 能够 scale 到大规模数据集的关键工程决策。
2. Transformer 的 Matrix Dimensions 为何是 3D 的?
(本题与第四章第 7 题重合,此处补充分布式训练视角。)
从分布式训练视角理解 3D 维度的意义:
在分布式训练中,3D 张量的不同维度支持不同的并行化策略:
- Batch 维度()→ 数据并行:将 batch 切分到多个 GPU,每个 GPU 处理 个样本,梯度通过 All-Reduce 同步;
- 序列维度()→ 序列并行(Megatron-LM):将长序列切分到多个 GPU,每个 GPU 处理部分 token 的 Dropout 和 LayerNorm,减少单卡内存;
- 隐层维度()→ 张量并行(Tensor Parallelism):将 等矩阵按列/行切分,每个 GPU 计算部分维度的输出,通过 All-Reduce 合并,支持超大模型单机不能放下的场景。
多头 Attention 的 4D 张量 进一步支持头并行:不同 GPU 负责不同的头,天然解耦,通信量极小。
3. 描述单 Encoder 和 Decoder 的 Transformer 使用 Attention 的地方及其功能
(与第四章第 8 题高度重合,此处从”最小化 Transformer”角度补充。)
“单层”的最小化 Transformer 模型:
一个仅有单个 Encoder + 单个 Decoder 层的 Transformer 仍然包含全部三种 Attention,每种 Attention 的功能定位与深层网络相同,但表达能力受限:
- Encoder Self-Attention(1 次):对源序列做一次全局上下文融合,相当于 “软搜索”每个源 token 的全局语境;
- Decoder Masked Self-Attention(1 次):维持目标序列的历史,确保因果自回归性;
- Decoder Cross-Attention(1 次):建立源序列与目标序列的一一对应关系(对齐)。
这三种 Attention 的组合是序列到序列任务的最小功能完备集,多层 Transformer 只是通过叠加来精炼表示,而非引入新的结构性功能。
4. Training 和 Inference 时 Masking 在 Transformer Attention 机制中的功能和数学实现
(与第四章第 9 题高度重合,此处补充 Flash Attention 中的 Mask 实现。)
FlashAttention 中的 Mask 实现:
FlashAttention 将注意力矩阵分块计算(Tiling),Mask 需要在每个分块内独立应用:
对于块 ,score 块为 ,Mask 块 对应相同的行/列区间:
其中 对 Padding 位置设为 ,Causal Mask 下对上三角部分设为 。分块 softmax 使用在线归一化算法(Online Softmax),在分块遍历过程中维护全局最大值和归一化分母,确保数值稳定性。
Inference 时的动态 Mask(KV Cache 场景):
推理第 步时,Causal Mask 是 的下三角矩阵(而非训练时固定的 )。配合 KV Cache,实际只计算新 token 的 Query 与所有历史 K/V 的 Attention,Mask 退化为:当前 Query 可以看所有历史 K/V(全部为 1),无需实际应用 Causal Mask(因为历史 token 天然在左侧)。
5. 描述 Transformer 的 Training Loss 工作流程和数学公式
(与第四章第 10 题高度重合,此处补充更多变体。)
不同训练目标的 Loss:
Seq2Seq 任务(机器翻译、摘要):
语言模型预训练(GPT 系列,CLM):
BERT 预训练(MLM + NSP):
ELECTRA(RTD):
其中 平衡生成器和判别器的贡献, 是判别器对每个 token 是否被替换的二分类概率。
学习率调度(Warmup + 衰减):
原版 Transformer 使用的学习率公式:
前 步线性增大,之后以 衰减,避免训练初期学习率过大导致不稳定。
6. 阐述 Multi-head Attention 中通过 Linear layer 计算 QKV 的 partition
(与第四章第 11 题高度重合,此处补充现代变体 GQA 的分割方式。)
Grouped Query Attention(GQA)的 Partition:
GQA 将 个 Query 头分为 组(),每组共享一个 K/V 头:
- Q 的投影矩阵:,逻辑上分割为 个头;
- K/V 的投影矩阵:,只有 个头;
- 对于每组中的 个 Q 头,它们共享同一组 K 和 V 进行 Attention 计算;
- KV Cache 只需存储 个头(而非 个),推理时显存节省 倍。
物理实现:
通过 expand 操作将 组 K/V 广播到 头(不占用额外显存,只是共享指针),实现逻辑上的分组共享。
7. 如何减少 Transformer 中训练后的 Word Embeddings 的 Bias?
(与第四章第 16 题高度重合,此处补充后训练阶段的实践策略。)
RLHF/DPO 在去偏中的作用:
现代大语言模型(如 ChatGPT、Claude)通过人类反馈强化学习(RLHF)或直接偏好优化(DPO)进行对齐训练,在去除有害偏见方面效果显著:
- RLHF:人类标注者对模型输出的偏见程度打分,训练奖励模型(RM),再用 PPO 优化语言模型使其更符合人类价值观;
- DPO:直接在偏好对(preferred vs. rejected)上优化,无需显式训练奖励模型,更稳定高效;
- Constitutional AI(Claude 的方法):通过预定义原则(Constitution)指导模型自我批评和修正,系统性地减少偏见和有害输出。
这些后训练方法比直接修改 Embedding 更全面,因为偏见不仅存在于 Embedding 层,还分布在整个网络的参数中。