Transformer 面试题及答案详解
二、训练与优化
7. 描述Transformer中Tokenization的数学原理、运行流程、问题及改进方法
答案:
Tokenization 是将原始文本转换为模型可处理的离散 Token 序列的过程,是 NLP 流水线的第一步。
1. 数学本质
Tokenization = f: String → List[Integer]
其中:
- 输入:原始字符串 s
- 输出:整数序列 [t₁, t₂, ..., tₙ],每个整数对应词表中的索引
- 词表 V 是有限集合,|V| 通常为 30000 ~ 100000
2. 主流方法:BPE(Byte Pair Encoding)
运行流程:
# Step 1: 初始化 - 将每个字符作为基本单元
vocabulary = {"l o w ", "l o w e r ", "n e w e s t ", "w i d e s t "}
# Step 2: 统计所有相邻字符对的频率
pair_freq = {
("e", "s"): 8, # 在 newest, widest 中出现
("e", "r"): 3,
("l", "o"): 5,
...
}
# Step 3: 合并频率最高的字符对
# 合并 "e" + "s" → "es"
# 更新词表 → {"l o w ", "l o w e r ", "n e w es t ", "w i d es t "}
# Step 4: 重复 Step 2-3,直到达到目标词表大小
# 每次合并都能捕获语言中的常见模式
# Step 5: 编码时,贪心地应用所有学到的合并规则
def encode(text, merges):
tokens = list(text) # 字符级分词
for pair, merged in merges.items():
tokens = apply_merge(tokens, pair, merged)
return tokens数学原理(信息论角度):
BPE 目标:最小化表示语料库所需的 Token 总数
等价于最大化数据的压缩率
每次合并最高频对 (a, b) → ab,使得:
Δ(信息量) = freq(a,b) × log(1/P(ab)) - freq(a,b) × [log(1/P(a)) + log(1/P(b))]
= freq(a,b) × log(P(a)×P(b)/P(ab))
3. WordPiece(BERT使用)
# 与BPE的区别:合并标准不同
# BPE:最大化频率
# WordPiece:最大化语言模型似然
# WordPiece选择合并使得:
# score = freq(ab) / (freq(a) × freq(b))
# 选择 score 最高的对进行合并
# 编码:贪心最长匹配(从左到右)
def wordpiece_encode(word, vocab):
tokens = []
start = 0
while start < len(word):
end = len(word)
cur_token = None
while start < end:
substr = word[start:end]
if start > 0:
substr = "##" + substr # 非首位前缀
if substr in vocab:
cur_token = substr
break
end -= 1
tokens.append(cur_token)
start = end
return tokens
# 示例:
# "unaffable" → ["un", "##aff", "##able"]4. SentencePiece(多语言模型使用)
# 特点:直接在字节/字符序列上操作,无需预分词
# 支持中文、日文等无空格语言
# 数学原理:Unigram LM
# 给定词表 V,最大化语料库的对数似然
# P(sentence) = Π P(token_i | token sequence)
# 目标函数:
L = Σ log P(X_i | V) # 对所有句子求和
# 通过期望最大化(EM)算法学习最优词表5. 存在的问题
# 问题1:OOV(Out of Vocabulary)
# 字符级BPE几乎完全解决,但WordPiece仍可能出现 [UNK]
# 问题2:词表大小的权衡
# 词表小 → OOV多,表达能力弱
# 词表大 → Embedding参数多,稀疏性问题
# 问题3:语言不均衡(Cross-lingual 场景)
# 英文效率高,中文可能被切成大量单字符
# 问题4:语义割裂
# "unhappy" → ["un", "##happy"] 破坏了词的整体语义
# 问题5:Tokenization 对下游任务的影响
# 错误的分词会导致模型无法正确理解词的含义6. 改进方法
# 改进1:Byte-level BPE(GPT-2/GPT-3)
# 以字节(256个基本单元)为最小单位,彻底消除OOV
# 任意字符串都能被表示
# 改进2:Unigram LM(SentencePiece)
# 概率化的分词,支持采样多种分词方式,增强鲁棒性
# 改进3:动态词表
# 根据任务/领域动态调整词表
# 在专业领域(医学、法律)加入领域词汇
# 改进4:Character-level 兜底
# 对未知词用字符级处理,保留字符信息
# 改进5:混合粒度
# 常见词 → 词级Token(高效)
# 罕见词 → 子词Token(无OOV)总结对比:
| 方法 | 词表大小 | OOV | 多语言 | 代表模型 |
|---|---|---|---|---|
| Word | 大 | 有 | 差 | 早期词向量 |
| BPE | 可调 | 无 | 一般 | GPT-1/2 |
| WordPiece | 可调 | 少 | 一般 | BERT |
| SentencePiece | 可调 | 无 | 好 | T5, mBERT |
| Byte BPE | 可调 | 无 | 优秀 | GPT-3, LLaMA |
8. 描述 self-attention 复杂度从 O(n²) 降低到 O(n) 的方案
标准 self-attention 的复杂度分析:
在标准 Transformer 中,self-attention 的计算公式为:
- 计算 需要 的时间,生成 的注意力矩阵;
- 空间复杂度也为 ,当序列长度 很大时成为瓶颈。
将复杂度降至 O(n) 的主要方案:
(1)线性注意力(Linear Attention)
核心思想:用核函数 对 Q、K 做特征映射,将点积注意力分解为:
由于矩阵乘法的结合律,可以先计算 ( 矩阵),再与 相乘,时间和空间复杂度均为 ,当 时近似 。代表工作:Linear Transformer(Katharopoulos et al., 2020)、Performer(使用随机特征近似核函数)。
(2)稀疏注意力(Sparse Attention)
不计算全量 矩阵,只对局部窗口或固定步长位置计算注意力:
- Local Window Attention:每个 token 只关注周围 个邻居,复杂度 ;
- Longformer:结合局部窗口 + 全局 token,整体复杂度 ;
- BigBird:随机注意力 + 局部注意力 + 全局注意力三路组合;
- Reformer:基于局部敏感哈希(LSH)将相似的 Q/K 分桶,只在同桶内计算注意力,复杂度 。
(3)低秩近似(Low-Rank Approximation)
- Linformer:假设注意力矩阵是低秩的,用投影矩阵将 K、V 的序列维度从 压缩到 (),复杂度降为 ;
- 但压缩会损失全局依赖信息,适用于任务对长程依赖不敏感的场景。
(4)递归/状态空间模型替代(Recurrent / SSM)
- S4 / Mamba:用状态空间模型(SSM)替代注意力,以 的线性递推实现长序列建模;
- RWKV:将 Transformer 重写为 RNN 形式,推理时复杂度为 per step。
小结:
| 方案 | 时间复杂度 | 特点 |
|---|---|---|
| 标准 Attention | 精确,全局依赖 | |
| Linear Attention | 近似,需核函数设计 | |
| Sparse Attention | ~ | 局部或随机稀疏 |
| Linformer | 低秩假设,压缩 K/V | |
| SSM(Mamba等) | 非注意力架构 |
9. BERT 的 CLS 能够有效地表达 Sentence Embeddings 吗?
结论:在大多数场景下,BERT 原生的 [CLS] 向量并不是高质量的 Sentence Embedding。
原因分析:
-
预训练目标的不匹配:BERT 使用 MLM(Masked Language Model)和 NSP(Next Sentence Prediction)任务预训练,其中 [CLS] 向量虽用于 NSP 分类,但 NSP 任务本身较弱(很容易通过主题匹配区分,而非真正理解句义),导致 [CLS] 的语义表达能力有限。
-
各向异性问题(Anisotropy):BERT 学到的词向量空间存在各向异性,即所有向量集中在高维空间的一个狭窄锥形区域内。这导致任意两个句子的余弦相似度普遍偏高,无法有效区分。
-
实验验证:在 STS(语义文本相似度)基准上,直接使用原始 BERT [CLS] 的性能往往比 GloVe 平均词向量还差(Reimers & Gurevych, 2019)。
改进方案:
- Sentence-BERT(SBERT):通过孪生网络(Siamese Network)结合语义相似度的监督信号(如 NLI 数据集)对 BERT 进行微调,使 [CLS] 或平均池化向量真正具有可比较的语义含义;
- SimCSE:使用对比学习(同一句子两次 dropout 得到正样本对),在无监督或有监督设置下大幅提升 Sentence Embedding 质量;
- WhiteningBERT / BERT-flow:通过后处理(流归一化或白化变换)消除各向异性,将向量空间变为各向同性,改善余弦相似度的有效性;
- Mean Pooling:将所有 token 的最后一层隐向量取平均,实践中往往优于直接用 [CLS],但同样受各向异性影响。
总结:
原生 BERT 的 [CLS] 不适合直接用于句义比较,需结合专门的微调目标(对比学习、语义相似度监督)或后处理手段才能获得高质量的 Sentence Embedding。
10. 使用 BPE 进行 Tokenization 对于跨语言(Cross-lingual)语言模型的意义?
BPE(Byte Pair Encoding)简介:
BPE 是一种基于频率的子词分词算法:从字符级初始词表出发,反复合并频率最高的字节对,直到词表大小达到预设值。
对跨语言模型的核心意义:
(1)天然共享跨语言子词单元
不同语言往往共享词根、借词、专有名词、数字、标点等字符组合(如英语”nation”与法语”nation”;数字串;URL 等)。BPE 会将高频出现的子串(即使跨语言)合并为同一 token,从而在不同语言的 token 空间中建立隐式的语义桥梁。这是 mBERT、XLM-R 等多语言模型成功实现跨语言迁移的重要基础。
(2)解决低资源语言的 OOV 问题
字符级或完整词的词表对低资源语言(语料稀少)极易产生大量 OOV(Out-of-Vocabulary)词。BPE 子词分割保证任何词都能被分解为已有的子词单元,有效消除 OOV,让模型能处理未见词。
(3)平衡词表大小与序列长度
- 词表过小(字符级):序列过长,注意力计算代价大;
- 词表过大(词级):参数量爆炸,且低资源语言词频过低。
BPE 在两者之间取得平衡,同一个多语言模型词表(如 XLM-R 使用 250K 词表)能同时覆盖 100+ 种语言。
(4)语言中性的形态学分解
形态丰富的语言(如芬兰语、土耳其语、阿拉伯语)的一个词可能等同于英语的一整个短语。BPE 将其分解为子词,使形态变化信息能在 token 层面与其他语言对齐,有利于跨语言的语义迁移。
注意事项:
- 语言采样策略很关键:高资源语言(英文)词频远高于低资源语言,若不做上采样(upsampling),低资源语言的子词会被切得过细;XLM-R 采用语言平衡采样(Temperature-based sampling)解决此问题。
- Unigram LM(如 SentencePiece 中的模式)相比 BPE 有更强的概率意义,在某些多语言场景下性能更好。
11. 如何训练 Transformer 处理数据量差异大的多类别数据?
问题背景:
现实中多类别数据(如多语言、多领域、多任务)往往存在严重的数据不平衡:某些类别语料极其丰富(英语、新闻),而另一些极其稀少(少数民族语言、垂直领域)。若直接混合训练,模型会过度偏向高资源类别。
主要应对策略:
(1)重采样(Resampling)
- 上采样(Oversampling):对低资源类别重复采样,增加其出现概率;
- 下采样(Undersampling):对高资源类别截断采样;
- Temperature-based Sampling(XLM-R 采用):设置采样温度 ,语言 的采样概率为 , 为原始分布, 趋向均匀分布,实践中 效果较好。
(2)损失加权(Loss Weighting)
对不同类别设置不同的损失权重,低资源类别赋予更高权重,使梯度更新向其倾斜。
(3)课程学习(Curriculum Learning)
在训练早期使用数据量较大的类别帮助模型快速收敛,后期逐步引入低资源类别,让模型在已有通用知识的基础上学习稀疏类别。
(4)多任务学习 + 任务特定 Adapter
- 共享 Transformer 主干处理通用特征;
- 每个类别/任务附加轻量级 Adapter 层(约为主模型参数量的 1%~3%),允许模型在共享表示上做差异化微调;
- 防止高资源类别的梯度淹没低资源类别的特定信息。
(5)Few-shot / Meta-learning
对极度低资源的类别,采用 MAML 等元学习方法,训练模型在少量样本上快速适应,而非依赖大量标注数据。
(6)数据增强(Data Augmentation)
对低资源类别做回译(back-translation)、同义词替换、EDA(Easy Data Augmentation)等扩充训练集。
工程实践建议:
- 监控每个类别的验证集指标(不能只看整体平均),据此动态调整采样策略;
- 使用 gradual unfreezing + discriminative learning rates(不同层使用不同学习率),低资源任务头部使用较高学习率;
- 批次构造(Batch Construction)时保证每个 batch 中各类别均有一定数量的样本(Balanced Batching)。
12. 如何使 BERT 更好地适应大规模预训练任务?
问题分析:
原始 BERT 在扩展到更大规模预训练时面临以下挑战:训练效率低(NSP 任务无益)、序列长度受限(512 tokens)、内存瓶颈、下游任务适配能力弱等。
改进方向与代表工作:
(1)优化预训练目标
- 去除 NSP,改用 SOP(RoBERTa / ALBERT):RoBERTa 证明 NSP 对下游任务无帮助,去掉后性能反而提升;ALBERT 用 Sentence Order Prediction(SOP)替换 NSP;
- 全词 Mask(Whole Word Masking):将完整词(而非随机 subword)一起 mask,使模型学习更高层语义(Chinese BERT-wwm);
- Span Masking(SpanBERT):随机遮盖连续 span 而非单个 token,要求模型预测整个片段,增强上下文推理能力。
(2)扩大训练数据规模与质量
- 更大语料(RoBERTa):在 160GB 文本(vs BERT 的 16GB)上训练,训练步数增至 500K+;
- 动态 Masking:每个 epoch 随机生成新的 mask,避免模型记忆固定 mask 模式;
- 更长序列:训练时使用更长的输入(如 512 → 1024/2048)以捕获文档级依赖。
(3)模型结构优化
- 参数共享(ALBERT):跨层共享 Transformer 权重,参数量减少 18x,同时将 Embedding 维度与隐层维度解耦(Factorized Embedding Parameterization);
- 梯度检查点(Gradient Checkpointing):用时间换空间,只存储部分激活值,大幅减少显存占用,支持更大 batch size;
- 混合精度训练(FP16/BF16):将训练精度降至半精度,既节省显存又加速计算,同时保留 FP32 的 master weights。
(4)优化器与学习率策略
- LAMB 优化器:专为大 batch 分布式训练设计,支持 batch size 扩展到数万,训练时间从数天缩短到数小时(BERT 76 分钟训练 vs 原始数天);
- 学习率 Warmup + 线性衰减:大规模预训练中 warmup steps 通常设置为总步数的 1%~6%。
(5)分布式训练
- 数据并行(Data Parallelism):多 GPU/TPU 上复制模型,梯度同步(All-Reduce);
- 张量并行(Tensor Parallelism):将大矩阵拆分到多个设备上并行计算(Megatron-LM);
- 流水线并行(Pipeline Parallelism):不同层分配到不同设备,减少单卡内存压力。
13. 在输入 Embeddings 时是否可以使用更多来源的词嵌入?
标准 Transformer 的 Embedding 组成:
BERT 进一步加入了 Segment Embedding(区分句子 A/B)。
可以融合的其他 Embedding 来源:
(1)子词/字符级 Embedding
- 对中文等语言,在词嵌入之外额外引入字符级嵌入(Character Embedding),通过 CNN 或 BiLSTM 将字符序列编码后与词嵌入拼接;
- 有助于处理生僻词、形态变化和拼写错误,典型应用:ELMo 使用字符 CNN 生成词表示。
(2)POS / 句法标签 Embedding
- 将词性(POS tag)、依存关系标签等语言学特征编码为 Embedding,与词嵌入相加或拼接;
- 有助于结构化语义任务(如关系抽取、语义角色标注),但增加了标注成本。
(3)实体类型 Embedding(ERNIE / KnowBERT)
- 将命名实体(人名、地名、机构名等)的实体类型标签作为额外 Embedding 输入;
- ERNIE(百度) 将实体知识图谱信息以 Entity Embedding 形式注入,显著提升知识密集型任务效果。
(4)视觉 / 多模态 Embedding
- 在图文多模态任务中(如 ViLBERT、CLIP),将图像区域特征(来自 Faster R-CNN 等)作为视觉 token 的 Embedding,与文本 Embedding 在同一 Transformer 中联合建模。
(5)领域/任务 Embedding
- 多任务学习场景下,为不同任务添加任务 ID Embedding,使模型区分当前处理的任务类型(MT-DNN)。
注意事项:
- 融合多来源 Embedding 时,需注意各 Embedding 的量纲对齐(通常做 LayerNorm);
- 过多的外部特征可能引入噪声,且增加预处理复杂度;
- 实践中需要通过消融实验(Ablation Study)验证每个 Embedding 来源的实际贡献。
14. 更深的 Transformer 网络是否意味着更强的预训练模型?
理论上:更深 → 更强的非线性表达能力
深层网络的每一层都学习更抽象、更高层的特征表示,这是深度学习的核心优势。实验也表明,在一定深度范围内,BERT-large(24层)比 BERT-base(12层)在大多数基准上有明显提升。
但更深并非万能,存在以下问题:
(1)梯度消失/爆炸
深层 Transformer 在反向传播中梯度信号可能在多层传递后衰减或爆炸,尽管 Layer Norm + 残差连接缓解了这一问题,但在 48层、72层以上时依然棘手。Pre-LN(将 LayerNorm 置于残差之前) 比 Post-LN 更稳定,是深层 Transformer 的主流选择(GPT-3 等均采用)。
(2)过拟合风险
当训练数据有限但模型极深时,容易过拟合。预训练数据规模必须与模型深度匹配(“scale law”),单纯增加深度而不增加数据通常适得其反。
(3)训练效率急剧下降
深度加倍导致反向传播时间线性增加,且难以并行(层间存在数据依赖)。通常宽度(增大隐层维度 )比深度更容易并行扩展。
(4)深层 vs 宽层的权衡
研究表明(如 Kaplan et al. 的 scaling laws),在相同参数量下,适度增加宽度与深度的比例(而非单纯增加深度)往往更优。GPT-3 和 PaLM 在极大参数量下采用的是相对中等的深度(96层)配合超大的隐层维度。
(5)深层的”退化”现象
超过某个深度阈值后,更深的层可能只做恒等变换,没有实质性学习,即”深度崩溃”(Depth Collapse),已有研究(如 Admin 初始化)专门针对此问题提出改进。
结论:
更深的 Transformer 在充足数据和合理初始化的前提下通常效果更好,但存在边际效益递减、训练不稳定、效率低等问题。现代大模型(GPT-4、PaLM-2 等)倾向于同时扩大深度和宽度,并配合 Pre-LN、稳定初始化和大规模数据,而非单纯追求层数。
15. 如何降低 Transformer 中 Embedding 层的参数数量?
背景:
Transformer 的 Embedding 层参数量为 ,其中 是词表大小(典型值 30K~250K), 是隐层维度(典型值 768~4096)。以 BERT-base 为例:,占总参数量(110M)的约 21%。
主要降参方案:
(1)分解嵌入参数化(Factorized Embedding Parameterization)—— ALBERT
将 Embedding 维度 (较小,如 128)与隐层维度 (较大,如 768)解耦:
其中 ,。
参数量从 降为 ,当 时节省显著。ALBERT 用此方法将 Embedding 参数从 23.4M 降至约 3.8M()。
(2)词表精简
- 使用更激进的 BPE 或 Unigram 分词,减小词表大小 ;
- 对于特定领域任务,构建领域词表(去除无关词汇);
- Character-level 模型直接用字符集(如 Unicode BMP,约 64K 字符),但序列变长。
(3)词嵌入共享(Weight Tying)
将 Embedding 层权重与最后的输出 Softmax 层权重共享(两者形状相同,均为 )。GPT-2、BERT 均使用了这一技术,直接减少约一个 的参数矩阵。
(4)哈希嵌入(Hashing Trick)
用多个哈希函数将 token 映射到固定大小的嵌入表中,不同 token 可能共享部分参数(有碰撞),参数量与词表大小解耦。适用于对精度要求不极高的场景。
(5)量化压缩
将 Embedding 权重量化为 INT8 或 INT4,显存占用减少 2~4 倍,配合量化感知训练(QAT)几乎无精度损失。
16. 描述 Transformer 不同 Layer 之间的 FeedForward 神经网络之间的联系
FeedForward 层结构回顾:
每个 Transformer 层中的 FFN 结构为:
其中 ,, 通常为 。
不同层 FFN 之间的联系与区别:
(1)参数不共享(默认设置)
标准 Transformer 中每一层的 FFN 都有独立的参数,这是模型容量的主要来源(FFN 参数约占总参数的 2/3)。不同层学习不同层次的特征变换。
(2)层间功能分工(探测研究发现)
通过探测实验(Probing Tasks)发现,Transformer 不同层的 FFN 具有不同的语义功能:
- 浅层(前几层):主要学习低级语法特征(词性、基本句法);
- 中间层:学习句法结构、短程依存关系;
- 深层:学习高级语义、长程依存、语用信息。
(3)FFN 作为”键值记忆”(Key-Value Memory)
Geva et al.(2021)提出了一个深刻的解释:FFN 的第一层权重 的每一列可看作一个”键”(Key),激活后的系数 × 对应的行可看作一个”值”(Value)。整个 FFN 相当于一个软寻址的键值存储系统,存储了大量的事实知识(factual knowledge)。这也解释了为何增大 (增加”槽位”)能提升模型的知识存储能力。
(4)参数共享方案(ALBERT)
ALBERT 在所有层之间共享 FFN(及 Attention)权重,大幅减少参数量,但模型的表达能力也相应降低。实验表明,参数共享相当于将 Transformer 变成了一种”循环”结构(类似深度卷积中的参数共享),在参数效率和表达能力之间进行权衡。
(5)通过残差连接的信息传递
每层 FFN 的输出通过残差连接叠加到输入上:。这使得信息可以”跳过”某些 FFN 层直接传递,上层 FFN 可以在下层 FFN 的结果基础上做增量修正,而非从零开始。
17. 如何降低 Transformer 的 FeedForward 层的参数数量?
背景:
FFN 层参数量为 (因为 )。以 BERT-base 为例,每层 FFN 约 4.7M 参数,12层共约 56M,占总参数量(110M)的约 51%,是最主要的参数来源。
降低 FFN 参数量的方法:
(1)减小
最直接的方法,但直接降低 (如从 改为 )会明显损失模型容量,需要在参数量和性能之间权衡。
(2)低秩分解
将 分解为两个小矩阵的乘积:,其中 ,,。参数量从 降至 。LoRA 正是使用低秩矩阵对预训练权重进行增量微调,在几乎不损失性能的前提下大幅减少可训练参数。
(3)混合专家(Mixture of Experts, MoE)
将单一 FFN 替换为 个专家 FFN,但每次只激活 Top-K 个专家(K=1 或 2)。总参数量增加 倍,但单次前向传播的计算量只增加 。在相同计算量下,MoE 拥有更大的参数容量(Switch Transformer、GLaM、Mixtral)。关键是设计好路由机制(Router),避免专家负载不均(Load Imbalance)。
(4)深度可分离 FFN(Depthwise Separable)
借鉴 MobileNet 的思想,将 FFN 中的矩阵乘法拆分为通道内(逐元素)变换和通道间混合,减少参数量。在 NLP 中不如 CV 中成熟,但有相关探索工作(如 Lite Transformer)。
(5)剪枝(Pruning)
- 结构化剪枝:移除整个 Attention Head 或 FFN 神经元,实现实际加速;
- 非结构化剪枝:将权重矩阵中绝对值较小的参数置零(稀疏化),配合稀疏矩阵乘法实现推理加速。
(6)知识蒸馏(Knowledge Distillation)
将大 FFN 的知识蒸馏到小 FFN,小模型在更少参数下模仿大模型行为(DistilBERT、TinyBERT)。
18. Transformer 的 Layer 深度过深会导致什么问题?
(1)训练不稳定 / 梯度问题
在 Post-LN(Layer Norm 在残差后)配置下,极深的网络(如 >24 层)极易出现梯度消失或爆炸。原因是深层残差网络中,梯度流经多层叠加后方差急剧变化。Pre-LN 结构将 Layer Norm 置于残差路径内部,能让梯度直接通过残差连接传播,显著改善深层网络的训练稳定性,是现代大模型的标准选择。
(2)深度崩溃(Rank Collapse / Layer Degeneration)
研究发现,在极深的 Transformer 中,某些层的输出趋近于线性变换(接近恒等映射),没有实质性贡献,即”层退化”。这意味着深度带来的表达能力提升并非线性,存在有效深度上限。ReZero、Admin 等工作通过特殊初始化解决这一问题,使极深网络(>100层)也能有效训练。
(3)显存与计算资源需求剧增
训练时需存储所有中间激活值用于反向传播,深度增加导致显存占用线性增大。使用梯度检查点(Gradient Checkpointing)可减少显存,但以时间换空间(约增加 30% 训练时间)。
(4)过拟合风险
在数据量不足的情况下,过深的模型参数量过大,容易过拟合训练集,在测试集上泛化性能反而下降。
(5)推理延迟增加
层数增加导致推理时间线性增长,不适合低延迟场景。可通过 早退出机制(Early Exit) 缓解:对简单样本在浅层就输出结果,减少平均推理层数。
(6)优化困难(Loss Landscape 崎岖)
极深网络的损失面(Loss Landscape)更加崎岖,容易陷入局部极小值或鞍点,对学习率和初始化更敏感。
(7)“中间层无用”问题
部分实验(如 BERT 的层删除实验)表明,直接删除中间某些层对最终性能影响很小,说明深度带来的收益存在饱和效应。
19. 如何大规模降低 Transformer 中 Embedding 层的参数数量?
(本题是第 15 题的深化扩展,聚焦”大规模”场景)
当词表规模极大(如多语言模型的 250K 词表)、隐层维度极大(如 GPT-3 的 12288)时,Embedding 层参数量可达数十亿,必须采用更激进的压缩方案。
大规模降参方案:
(1)超大规模分解嵌入(Factorized Embedding)
在 ALBERT 方案基础上进一步缩小 :即使 或 ,配合投影矩阵,也能维持较好性能。以 ,, 为例:
- 原始参数量:
- 分解后:,压缩比约 61x。
(2)哈希嵌入 + 组合策略(Compositional Embeddings)
将每个 token 的 Embedding 分解为多个子 Embedding 的组合(相加或拼接),每个子 Embedding 来自一个小型嵌入表,通过哈希函数分配。代表工作:QR Decomposition Embeddings(将词表分为行/列,两个小表的 Embedding 拼接/相乘表示原词的 Embedding),参数量降至 。
(3)动态词嵌入(Adaptive Embedding)
对高频词分配更大的 Embedding 维度,低频词分配更小的维度(如 Adaptive Softmax / Adaptive Embedding),然后通过线性投影统一到 。频率分布遵循 Zipf 定律,少量高频词可以用大 Embedding 表示,大量低频词用小 Embedding,整体参数量显著减少(Transformer-XL 采用此策略)。
(4)词嵌入量化 + 混合精度
- 向量量化(VQ-VAE 思路):将连续 Embedding 空间离散化为 个码本向量,每个词存储一个 Index 而非完整向量,参数从 降至 ();
- 二值化 Embedding:将 Embedding 量化为 +1/-1,配合二值运算大幅加速;
- 代价是精度损失,需要量化感知训练(QAT)弥补。
(5)Token 级别的 Lazy Embedding(按需加载)
在训练时,只为当前 batch 中出现的 token 更新 Embedding 参数(Sparse Update),其余参数保持不变。这并不减少参数量,但减少了每步的通信和计算量,适合分布式训练场景。
(6)跨层 / 跨模态 Embedding 共享
在多语言、多模态模型中,强制不同语言或模态共享部分 Embedding 参数(Embedding Sharing),减少总参数量,同时促进跨语言/跨模态的表示对齐。
综合比较:
| 方案 | 压缩比 | 精度损失 | 工程复杂度 |
|---|---|---|---|
| 分解嵌入(ALBERT 式) | 10x~60x | 小 | 低 |
| 哈希/组合嵌入 | 10x~100x | 中 | 中 |
| 自适应嵌入 | 2x~5x | 极小 | 中 |
| 向量量化 | 10x+ | 较大 | 高 |
| INT8 量化 | 2x~4x | 极小 | 低 |