Transformer 面试题及答案详解

二、训练与优化

7. 描述Transformer中Tokenization的数学原理、运行流程、问题及改进方法

答案:

Tokenization 是将原始文本转换为模型可处理的离散 Token 序列的过程,是 NLP 流水线的第一步。

1. 数学本质

Tokenization = f: String → List[Integer]

其中:
- 输入:原始字符串 s
- 输出:整数序列 [t₁, t₂, ..., tₙ],每个整数对应词表中的索引
- 词表 V 是有限集合,|V| 通常为 30000 ~ 100000

2. 主流方法:BPE(Byte Pair Encoding)

运行流程:

# Step 1: 初始化 - 将每个字符作为基本单元
vocabulary = {"l o w ", "l o w e r ", "n e w e s t ", "w i d e s t "}
 
# Step 2: 统计所有相邻字符对的频率
pair_freq = {
    ("e", "s"): 8,   # 在 newest, widest 中出现
    ("e", "r"): 3,
    ("l", "o"): 5,
    ...
}
 
# Step 3: 合并频率最高的字符对
# 合并 "e" + "s" → "es"
# 更新词表 → {"l o w ", "l o w e r ", "n e w es t ", "w i d es t "}
 
# Step 4: 重复 Step 2-3,直到达到目标词表大小
# 每次合并都能捕获语言中的常见模式
 
# Step 5: 编码时,贪心地应用所有学到的合并规则
def encode(text, merges):
    tokens = list(text)  # 字符级分词
    for pair, merged in merges.items():
        tokens = apply_merge(tokens, pair, merged)
    return tokens

数学原理(信息论角度):

BPE 目标:最小化表示语料库所需的 Token 总数
         等价于最大化数据的压缩率

每次合并最高频对 (a, b) → ab,使得:
Δ(信息量) = freq(a,b) × log(1/P(ab)) - freq(a,b) × [log(1/P(a)) + log(1/P(b))]
           = freq(a,b) × log(P(a)×P(b)/P(ab))

3. WordPiece(BERT使用)

# 与BPE的区别:合并标准不同
# BPE:最大化频率
# WordPiece:最大化语言模型似然
 
# WordPiece选择合并使得:
# score = freq(ab) / (freq(a) × freq(b))
# 选择 score 最高的对进行合并
 
# 编码:贪心最长匹配(从左到右)
def wordpiece_encode(word, vocab):
    tokens = []
    start = 0
    while start < len(word):
        end = len(word)
        cur_token = None
        while start < end:
            substr = word[start:end]
            if start > 0:
                substr = "##" + substr  # 非首位前缀
            if substr in vocab:
                cur_token = substr
                break
            end -= 1
        tokens.append(cur_token)
        start = end
    return tokens
 
# 示例:
# "unaffable" → ["un", "##aff", "##able"]

4. SentencePiece(多语言模型使用)

# 特点:直接在字节/字符序列上操作,无需预分词
# 支持中文、日文等无空格语言
 
# 数学原理:Unigram LM
# 给定词表 V,最大化语料库的对数似然
# P(sentence) = Π P(token_i | token sequence)
 
# 目标函数:
L = Σ log P(X_i | V)   # 对所有句子求和
 
# 通过期望最大化(EM)算法学习最优词表

5. 存在的问题

# 问题1:OOV(Out of Vocabulary)
# 字符级BPE几乎完全解决,但WordPiece仍可能出现 [UNK]
 
# 问题2:词表大小的权衡
# 词表小 → OOV多,表达能力弱
# 词表大 → Embedding参数多,稀疏性问题
 
# 问题3:语言不均衡(Cross-lingual 场景)
# 英文效率高,中文可能被切成大量单字符
 
# 问题4:语义割裂
# "unhappy" → ["un", "##happy"] 破坏了词的整体语义
 
# 问题5:Tokenization 对下游任务的影响
# 错误的分词会导致模型无法正确理解词的含义

6. 改进方法

# 改进1:Byte-level BPE(GPT-2/GPT-3)
# 以字节(256个基本单元)为最小单位,彻底消除OOV
# 任意字符串都能被表示
 
# 改进2:Unigram LM(SentencePiece)
# 概率化的分词,支持采样多种分词方式,增强鲁棒性
 
# 改进3:动态词表
# 根据任务/领域动态调整词表
# 在专业领域(医学、法律)加入领域词汇
 
# 改进4:Character-level 兜底
# 对未知词用字符级处理,保留字符信息
 
# 改进5:混合粒度
# 常见词 → 词级Token(高效)
# 罕见词 → 子词Token(无OOV)

总结对比:

方法词表大小OOV多语言代表模型
Word大有差早期词向量
BPE可调无一般GPT-1/2
WordPiece可调少一般BERT
SentencePiece可调无好T5, mBERT
Byte BPE可调无优秀GPT-3, LLaMA

8. 描述 self-attention 复杂度从 O(n²) 降低到 O(n) 的方案

标准 self-attention 的复杂度分析:

在标准 Transformer 中,self-attention 的计算公式为:

  • 计算 需要 的时间,生成 的注意力矩阵;
  • 空间复杂度也为 ,当序列长度 很大时成为瓶颈。

将复杂度降至 O(n) 的主要方案:

(1)线性注意力(Linear Attention)

核心思想:用核函数 对 Q、K 做特征映射,将点积注意力分解为:

由于矩阵乘法的结合律,可以先计算 ( 矩阵),再与 相乘,时间和空间复杂度均为 ,当 时近似 。代表工作:Linear Transformer(Katharopoulos et al., 2020)、Performer(使用随机特征近似核函数)。

(2)稀疏注意力(Sparse Attention)

不计算全量 矩阵,只对局部窗口或固定步长位置计算注意力:

  • Local Window Attention:每个 token 只关注周围 个邻居,复杂度 ;
  • Longformer:结合局部窗口 + 全局 token,整体复杂度 ;
  • BigBird:随机注意力 + 局部注意力 + 全局注意力三路组合;
  • Reformer:基于局部敏感哈希(LSH)将相似的 Q/K 分桶,只在同桶内计算注意力,复杂度 。

(3)低秩近似(Low-Rank Approximation)

  • Linformer:假设注意力矩阵是低秩的,用投影矩阵将 K、V 的序列维度从 压缩到 (),复杂度降为 ;
  • 但压缩会损失全局依赖信息,适用于任务对长程依赖不敏感的场景。

(4)递归/状态空间模型替代(Recurrent / SSM)

  • S4 / Mamba:用状态空间模型(SSM)替代注意力,以 的线性递推实现长序列建模;
  • RWKV:将 Transformer 重写为 RNN 形式,推理时复杂度为 per step。

小结:

方案时间复杂度特点
标准 Attention精确,全局依赖
Linear Attention近似,需核函数设计
Sparse Attention ~ 局部或随机稀疏
Linformer低秩假设,压缩 K/V
SSM(Mamba等)非注意力架构

9. BERT 的 CLS 能够有效地表达 Sentence Embeddings 吗?

结论:在大多数场景下,BERT 原生的 [CLS] 向量并不是高质量的 Sentence Embedding。

原因分析:

  1. 预训练目标的不匹配:BERT 使用 MLM(Masked Language Model)和 NSP(Next Sentence Prediction)任务预训练,其中 [CLS] 向量虽用于 NSP 分类,但 NSP 任务本身较弱(很容易通过主题匹配区分,而非真正理解句义),导致 [CLS] 的语义表达能力有限。

  2. 各向异性问题(Anisotropy):BERT 学到的词向量空间存在各向异性,即所有向量集中在高维空间的一个狭窄锥形区域内。这导致任意两个句子的余弦相似度普遍偏高,无法有效区分。

  3. 实验验证:在 STS(语义文本相似度)基准上,直接使用原始 BERT [CLS] 的性能往往比 GloVe 平均词向量还差(Reimers & Gurevych, 2019)。

改进方案:

  • Sentence-BERT(SBERT):通过孪生网络(Siamese Network)结合语义相似度的监督信号(如 NLI 数据集)对 BERT 进行微调,使 [CLS] 或平均池化向量真正具有可比较的语义含义;
  • SimCSE:使用对比学习(同一句子两次 dropout 得到正样本对),在无监督或有监督设置下大幅提升 Sentence Embedding 质量;
  • WhiteningBERT / BERT-flow:通过后处理(流归一化或白化变换)消除各向异性,将向量空间变为各向同性,改善余弦相似度的有效性;
  • Mean Pooling:将所有 token 的最后一层隐向量取平均,实践中往往优于直接用 [CLS],但同样受各向异性影响。

总结:

原生 BERT 的 [CLS] 不适合直接用于句义比较,需结合专门的微调目标(对比学习、语义相似度监督)或后处理手段才能获得高质量的 Sentence Embedding。


10. 使用 BPE 进行 Tokenization 对于跨语言(Cross-lingual)语言模型的意义?

BPE(Byte Pair Encoding)简介:

BPE 是一种基于频率的子词分词算法:从字符级初始词表出发,反复合并频率最高的字节对,直到词表大小达到预设值。

对跨语言模型的核心意义:

(1)天然共享跨语言子词单元

不同语言往往共享词根、借词、专有名词、数字、标点等字符组合(如英语”nation”与法语”nation”;数字串;URL 等)。BPE 会将高频出现的子串(即使跨语言)合并为同一 token,从而在不同语言的 token 空间中建立隐式的语义桥梁。这是 mBERT、XLM-R 等多语言模型成功实现跨语言迁移的重要基础。

(2)解决低资源语言的 OOV 问题

字符级或完整词的词表对低资源语言(语料稀少)极易产生大量 OOV(Out-of-Vocabulary)词。BPE 子词分割保证任何词都能被分解为已有的子词单元,有效消除 OOV,让模型能处理未见词。

(3)平衡词表大小与序列长度

  • 词表过小(字符级):序列过长,注意力计算代价大;
  • 词表过大(词级):参数量爆炸,且低资源语言词频过低。

BPE 在两者之间取得平衡,同一个多语言模型词表(如 XLM-R 使用 250K 词表)能同时覆盖 100+ 种语言。

(4)语言中性的形态学分解

形态丰富的语言(如芬兰语、土耳其语、阿拉伯语)的一个词可能等同于英语的一整个短语。BPE 将其分解为子词,使形态变化信息能在 token 层面与其他语言对齐,有利于跨语言的语义迁移。

注意事项:

  • 语言采样策略很关键:高资源语言(英文)词频远高于低资源语言,若不做上采样(upsampling),低资源语言的子词会被切得过细;XLM-R 采用语言平衡采样(Temperature-based sampling)解决此问题。
  • Unigram LM(如 SentencePiece 中的模式)相比 BPE 有更强的概率意义,在某些多语言场景下性能更好。

11. 如何训练 Transformer 处理数据量差异大的多类别数据?

问题背景:

现实中多类别数据(如多语言、多领域、多任务)往往存在严重的数据不平衡:某些类别语料极其丰富(英语、新闻),而另一些极其稀少(少数民族语言、垂直领域)。若直接混合训练,模型会过度偏向高资源类别。

主要应对策略:

(1)重采样(Resampling)

  • 上采样(Oversampling):对低资源类别重复采样,增加其出现概率;
  • 下采样(Undersampling):对高资源类别截断采样;
  • Temperature-based Sampling(XLM-R 采用):设置采样温度 ,语言 的采样概率为 , 为原始分布, 趋向均匀分布,实践中 效果较好。

(2)损失加权(Loss Weighting)

对不同类别设置不同的损失权重,低资源类别赋予更高权重,使梯度更新向其倾斜。

(3)课程学习(Curriculum Learning)

在训练早期使用数据量较大的类别帮助模型快速收敛,后期逐步引入低资源类别,让模型在已有通用知识的基础上学习稀疏类别。

(4)多任务学习 + 任务特定 Adapter

  • 共享 Transformer 主干处理通用特征;
  • 每个类别/任务附加轻量级 Adapter 层(约为主模型参数量的 1%~3%),允许模型在共享表示上做差异化微调;
  • 防止高资源类别的梯度淹没低资源类别的特定信息。

(5)Few-shot / Meta-learning

对极度低资源的类别,采用 MAML 等元学习方法,训练模型在少量样本上快速适应,而非依赖大量标注数据。

(6)数据增强(Data Augmentation)

对低资源类别做回译(back-translation)、同义词替换、EDA(Easy Data Augmentation)等扩充训练集。

工程实践建议:

  • 监控每个类别的验证集指标(不能只看整体平均),据此动态调整采样策略;
  • 使用 gradual unfreezing + discriminative learning rates(不同层使用不同学习率),低资源任务头部使用较高学习率;
  • 批次构造(Batch Construction)时保证每个 batch 中各类别均有一定数量的样本(Balanced Batching)。

12. 如何使 BERT 更好地适应大规模预训练任务?

问题分析:

原始 BERT 在扩展到更大规模预训练时面临以下挑战:训练效率低(NSP 任务无益)、序列长度受限(512 tokens)、内存瓶颈、下游任务适配能力弱等。

改进方向与代表工作:

(1)优化预训练目标

  • 去除 NSP,改用 SOP(RoBERTa / ALBERT):RoBERTa 证明 NSP 对下游任务无帮助,去掉后性能反而提升;ALBERT 用 Sentence Order Prediction(SOP)替换 NSP;
  • 全词 Mask(Whole Word Masking):将完整词(而非随机 subword)一起 mask,使模型学习更高层语义(Chinese BERT-wwm);
  • Span Masking(SpanBERT):随机遮盖连续 span 而非单个 token,要求模型预测整个片段,增强上下文推理能力。

(2)扩大训练数据规模与质量

  • 更大语料(RoBERTa):在 160GB 文本(vs BERT 的 16GB)上训练,训练步数增至 500K+;
  • 动态 Masking:每个 epoch 随机生成新的 mask,避免模型记忆固定 mask 模式;
  • 更长序列:训练时使用更长的输入(如 512 → 1024/2048)以捕获文档级依赖。

(3)模型结构优化

  • 参数共享(ALBERT):跨层共享 Transformer 权重,参数量减少 18x,同时将 Embedding 维度与隐层维度解耦(Factorized Embedding Parameterization);
  • 梯度检查点(Gradient Checkpointing):用时间换空间,只存储部分激活值,大幅减少显存占用,支持更大 batch size;
  • 混合精度训练(FP16/BF16):将训练精度降至半精度,既节省显存又加速计算,同时保留 FP32 的 master weights。

(4)优化器与学习率策略

  • LAMB 优化器:专为大 batch 分布式训练设计,支持 batch size 扩展到数万,训练时间从数天缩短到数小时(BERT 76 分钟训练 vs 原始数天);
  • 学习率 Warmup + 线性衰减:大规模预训练中 warmup steps 通常设置为总步数的 1%~6%。

(5)分布式训练

  • 数据并行(Data Parallelism):多 GPU/TPU 上复制模型,梯度同步(All-Reduce);
  • 张量并行(Tensor Parallelism):将大矩阵拆分到多个设备上并行计算(Megatron-LM);
  • 流水线并行(Pipeline Parallelism):不同层分配到不同设备,减少单卡内存压力。

13. 在输入 Embeddings 时是否可以使用更多来源的词嵌入?

标准 Transformer 的 Embedding 组成:

BERT 进一步加入了 Segment Embedding(区分句子 A/B)。

可以融合的其他 Embedding 来源:

(1)子词/字符级 Embedding

  • 对中文等语言,在词嵌入之外额外引入字符级嵌入(Character Embedding),通过 CNN 或 BiLSTM 将字符序列编码后与词嵌入拼接;
  • 有助于处理生僻词、形态变化和拼写错误,典型应用:ELMo 使用字符 CNN 生成词表示。

(2)POS / 句法标签 Embedding

  • 将词性(POS tag)、依存关系标签等语言学特征编码为 Embedding,与词嵌入相加或拼接;
  • 有助于结构化语义任务(如关系抽取、语义角色标注),但增加了标注成本。

(3)实体类型 Embedding(ERNIE / KnowBERT)

  • 将命名实体(人名、地名、机构名等)的实体类型标签作为额外 Embedding 输入;
  • ERNIE(百度) 将实体知识图谱信息以 Entity Embedding 形式注入,显著提升知识密集型任务效果。

(4)视觉 / 多模态 Embedding

  • 在图文多模态任务中(如 ViLBERT、CLIP),将图像区域特征(来自 Faster R-CNN 等)作为视觉 token 的 Embedding,与文本 Embedding 在同一 Transformer 中联合建模。

(5)领域/任务 Embedding

  • 多任务学习场景下,为不同任务添加任务 ID Embedding,使模型区分当前处理的任务类型(MT-DNN)。

注意事项:

  • 融合多来源 Embedding 时,需注意各 Embedding 的量纲对齐(通常做 LayerNorm);
  • 过多的外部特征可能引入噪声,且增加预处理复杂度;
  • 实践中需要通过消融实验(Ablation Study)验证每个 Embedding 来源的实际贡献。

14. 更深的 Transformer 网络是否意味着更强的预训练模型?

理论上:更深 → 更强的非线性表达能力

深层网络的每一层都学习更抽象、更高层的特征表示,这是深度学习的核心优势。实验也表明,在一定深度范围内,BERT-large(24层)比 BERT-base(12层)在大多数基准上有明显提升。

但更深并非万能,存在以下问题:

(1)梯度消失/爆炸

深层 Transformer 在反向传播中梯度信号可能在多层传递后衰减或爆炸,尽管 Layer Norm + 残差连接缓解了这一问题,但在 48层、72层以上时依然棘手。Pre-LN(将 LayerNorm 置于残差之前) 比 Post-LN 更稳定,是深层 Transformer 的主流选择(GPT-3 等均采用)。

(2)过拟合风险

当训练数据有限但模型极深时,容易过拟合。预训练数据规模必须与模型深度匹配(“scale law”),单纯增加深度而不增加数据通常适得其反。

(3)训练效率急剧下降

深度加倍导致反向传播时间线性增加,且难以并行(层间存在数据依赖)。通常宽度(增大隐层维度 )比深度更容易并行扩展。

(4)深层 vs 宽层的权衡

研究表明(如 Kaplan et al. 的 scaling laws),在相同参数量下,适度增加宽度与深度的比例(而非单纯增加深度)往往更优。GPT-3 和 PaLM 在极大参数量下采用的是相对中等的深度(96层)配合超大的隐层维度。

(5)深层的”退化”现象

超过某个深度阈值后,更深的层可能只做恒等变换,没有实质性学习,即”深度崩溃”(Depth Collapse),已有研究(如 Admin 初始化)专门针对此问题提出改进。

结论:

更深的 Transformer 在充足数据和合理初始化的前提下通常效果更好,但存在边际效益递减、训练不稳定、效率低等问题。现代大模型(GPT-4、PaLM-2 等)倾向于同时扩大深度和宽度,并配合 Pre-LN、稳定初始化和大规模数据,而非单纯追求层数。


15. 如何降低 Transformer 中 Embedding 层的参数数量?

背景:

Transformer 的 Embedding 层参数量为 ,其中 是词表大小(典型值 30K~250K), 是隐层维度(典型值 768~4096)。以 BERT-base 为例:,占总参数量(110M)的约 21%。

主要降参方案:

(1)分解嵌入参数化(Factorized Embedding Parameterization)—— ALBERT

将 Embedding 维度 (较小,如 128)与隐层维度 (较大,如 768)解耦:

其中 ,。

参数量从 降为 ,当 时节省显著。ALBERT 用此方法将 Embedding 参数从 23.4M 降至约 3.8M()。

(2)词表精简

  • 使用更激进的 BPE 或 Unigram 分词,减小词表大小 ;
  • 对于特定领域任务,构建领域词表(去除无关词汇);
  • Character-level 模型直接用字符集(如 Unicode BMP,约 64K 字符),但序列变长。

(3)词嵌入共享(Weight Tying)

将 Embedding 层权重与最后的输出 Softmax 层权重共享(两者形状相同,均为 )。GPT-2、BERT 均使用了这一技术,直接减少约一个 的参数矩阵。

(4)哈希嵌入(Hashing Trick)

用多个哈希函数将 token 映射到固定大小的嵌入表中,不同 token 可能共享部分参数(有碰撞),参数量与词表大小解耦。适用于对精度要求不极高的场景。

(5)量化压缩

将 Embedding 权重量化为 INT8 或 INT4,显存占用减少 2~4 倍,配合量化感知训练(QAT)几乎无精度损失。


16. 描述 Transformer 不同 Layer 之间的 FeedForward 神经网络之间的联系

FeedForward 层结构回顾:

每个 Transformer 层中的 FFN 结构为:

其中 ,, 通常为 。

不同层 FFN 之间的联系与区别:

(1)参数不共享(默认设置)

标准 Transformer 中每一层的 FFN 都有独立的参数,这是模型容量的主要来源(FFN 参数约占总参数的 2/3)。不同层学习不同层次的特征变换。

(2)层间功能分工(探测研究发现)

通过探测实验(Probing Tasks)发现,Transformer 不同层的 FFN 具有不同的语义功能:

  • 浅层(前几层):主要学习低级语法特征(词性、基本句法);
  • 中间层:学习句法结构、短程依存关系;
  • 深层:学习高级语义、长程依存、语用信息。

(3)FFN 作为”键值记忆”(Key-Value Memory)

Geva et al.(2021)提出了一个深刻的解释:FFN 的第一层权重 的每一列可看作一个”键”(Key),激活后的系数 × 对应的行可看作一个”值”(Value)。整个 FFN 相当于一个软寻址的键值存储系统,存储了大量的事实知识(factual knowledge)。这也解释了为何增大 (增加”槽位”)能提升模型的知识存储能力。

(4)参数共享方案(ALBERT)

ALBERT 在所有层之间共享 FFN(及 Attention)权重,大幅减少参数量,但模型的表达能力也相应降低。实验表明,参数共享相当于将 Transformer 变成了一种”循环”结构(类似深度卷积中的参数共享),在参数效率和表达能力之间进行权衡。

(5)通过残差连接的信息传递

每层 FFN 的输出通过残差连接叠加到输入上:。这使得信息可以”跳过”某些 FFN 层直接传递,上层 FFN 可以在下层 FFN 的结果基础上做增量修正,而非从零开始。


17. 如何降低 Transformer 的 FeedForward 层的参数数量?

背景:

FFN 层参数量为 (因为 )。以 BERT-base 为例,每层 FFN 约 4.7M 参数,12层共约 56M,占总参数量(110M)的约 51%,是最主要的参数来源。

降低 FFN 参数量的方法:

(1)减小

最直接的方法,但直接降低 (如从 改为 )会明显损失模型容量,需要在参数量和性能之间权衡。

(2)低秩分解

将 分解为两个小矩阵的乘积:,其中 ,,。参数量从 降至 。LoRA 正是使用低秩矩阵对预训练权重进行增量微调,在几乎不损失性能的前提下大幅减少可训练参数。

(3)混合专家(Mixture of Experts, MoE)

将单一 FFN 替换为 个专家 FFN,但每次只激活 Top-K 个专家(K=1 或 2)。总参数量增加 倍,但单次前向传播的计算量只增加 。在相同计算量下,MoE 拥有更大的参数容量(Switch Transformer、GLaM、Mixtral)。关键是设计好路由机制(Router),避免专家负载不均(Load Imbalance)。

(4)深度可分离 FFN(Depthwise Separable)

借鉴 MobileNet 的思想,将 FFN 中的矩阵乘法拆分为通道内(逐元素)变换和通道间混合,减少参数量。在 NLP 中不如 CV 中成熟,但有相关探索工作(如 Lite Transformer)。

(5)剪枝(Pruning)

  • 结构化剪枝:移除整个 Attention Head 或 FFN 神经元,实现实际加速;
  • 非结构化剪枝:将权重矩阵中绝对值较小的参数置零(稀疏化),配合稀疏矩阵乘法实现推理加速。

(6)知识蒸馏(Knowledge Distillation)

将大 FFN 的知识蒸馏到小 FFN,小模型在更少参数下模仿大模型行为(DistilBERT、TinyBERT)。


18. Transformer 的 Layer 深度过深会导致什么问题?

(1)训练不稳定 / 梯度问题

在 Post-LN(Layer Norm 在残差后)配置下,极深的网络(如 >24 层)极易出现梯度消失或爆炸。原因是深层残差网络中,梯度流经多层叠加后方差急剧变化。Pre-LN 结构将 Layer Norm 置于残差路径内部,能让梯度直接通过残差连接传播,显著改善深层网络的训练稳定性,是现代大模型的标准选择。

(2)深度崩溃(Rank Collapse / Layer Degeneration)

研究发现,在极深的 Transformer 中,某些层的输出趋近于线性变换(接近恒等映射),没有实质性贡献,即”层退化”。这意味着深度带来的表达能力提升并非线性,存在有效深度上限。ReZero、Admin 等工作通过特殊初始化解决这一问题,使极深网络(>100层)也能有效训练。

(3)显存与计算资源需求剧增

训练时需存储所有中间激活值用于反向传播,深度增加导致显存占用线性增大。使用梯度检查点(Gradient Checkpointing)可减少显存,但以时间换空间(约增加 30% 训练时间)。

(4)过拟合风险

在数据量不足的情况下,过深的模型参数量过大,容易过拟合训练集,在测试集上泛化性能反而下降。

(5)推理延迟增加

层数增加导致推理时间线性增长,不适合低延迟场景。可通过 早退出机制(Early Exit) 缓解:对简单样本在浅层就输出结果,减少平均推理层数。

(6)优化困难(Loss Landscape 崎岖)

极深网络的损失面(Loss Landscape)更加崎岖,容易陷入局部极小值或鞍点,对学习率和初始化更敏感。

(7)“中间层无用”问题

部分实验(如 BERT 的层删除实验)表明,直接删除中间某些层对最终性能影响很小,说明深度带来的收益存在饱和效应。


19. 如何大规模降低 Transformer 中 Embedding 层的参数数量?

(本题是第 15 题的深化扩展,聚焦”大规模”场景)

当词表规模极大(如多语言模型的 250K 词表)、隐层维度极大(如 GPT-3 的 12288)时,Embedding 层参数量可达数十亿,必须采用更激进的压缩方案。

大规模降参方案:

(1)超大规模分解嵌入(Factorized Embedding)

在 ALBERT 方案基础上进一步缩小 :即使 或 ,配合投影矩阵,也能维持较好性能。以 ,, 为例:

  • 原始参数量:
  • 分解后:,压缩比约 61x。

(2)哈希嵌入 + 组合策略(Compositional Embeddings)

将每个 token 的 Embedding 分解为多个子 Embedding 的组合(相加或拼接),每个子 Embedding 来自一个小型嵌入表,通过哈希函数分配。代表工作:QR Decomposition Embeddings(将词表分为行/列,两个小表的 Embedding 拼接/相乘表示原词的 Embedding),参数量降至 。

(3)动态词嵌入(Adaptive Embedding)

对高频词分配更大的 Embedding 维度,低频词分配更小的维度(如 Adaptive Softmax / Adaptive Embedding),然后通过线性投影统一到 。频率分布遵循 Zipf 定律,少量高频词可以用大 Embedding 表示,大量低频词用小 Embedding,整体参数量显著减少(Transformer-XL 采用此策略)。

(4)词嵌入量化 + 混合精度

  • 向量量化(VQ-VAE 思路):将连续 Embedding 空间离散化为 个码本向量,每个词存储一个 Index 而非完整向量,参数从 降至 ();
  • 二值化 Embedding:将 Embedding 量化为 +1/-1,配合二值运算大幅加速;
  • 代价是精度损失,需要量化感知训练(QAT)弥补。

(5)Token 级别的 Lazy Embedding(按需加载)

在训练时,只为当前 batch 中出现的 token 更新 Embedding 参数(Sparse Update),其余参数保持不变。这并不减少参数量,但减少了每步的通信和计算量,适合分布式训练场景。

(6)跨层 / 跨模态 Embedding 共享

在多语言、多模态模型中,强制不同语言或模态共享部分 Embedding 参数(Embedding Sharing),减少总参数量,同时促进跨语言/跨模态的表示对齐。

综合比较:

方案压缩比精度损失工程复杂度
分解嵌入(ALBERT 式)10x~60x小低
哈希/组合嵌入10x~100x中中
自适应嵌入2x~5x极小中
向量量化10x+较大高
INT8 量化2x~4x极小低