Transformer 注意力机制与推理优化全栈
一句话总结
这是 3 篇 DeepSeek 问答对话的整理。内容从注意力机制的数学本质(QKV 为什么要分裂)一路推进到大模型的工业级推理部署优化(KV Cache → FlashAttention → PagedAttention → Continuous Batching → 分布式 → 投机采样),构成一张完整的「算法 → 算子 → 显存 → 调度 → 精度 → 并行 → 生成」分层优化图景。
全景图
层级优化关系见配套 Canvas:
![[大模型推理优化全栈架构.canvas]]。下图自下而上 = 从底层算法到顶层目标。
目录
- 为什么 Q、K、V 非得分裂成 3 组
- 多 Token 如何并行进入注意力层
- 多头注意力为什么要切分子空间
- 注意力分数为什么能并行
- 训练与推理:KV Cache 的诞生
- 算子/IO 层:FlashAttention 与分块 Softmax
- 变长序列:cu_seqlens 与「拍扁」
- 显存层:PagedAttention 的分页魔法
- 调度层:Continuous Batching 等
- 精度/计算层:量化与 TensorRT
- 分布式层:张量并行 TP 与流水线并行 PP
- 生成/架构层:投机采样与 MoE
- 推理与部署真的不是一回事
- 面试高频要点速查
1. 为什么 Q、K、V 非得分裂成 3 组
直觉:注意力机制看似可以用「嵌入向量自己和自己点积」算加权,但这在数学和表达力上都存在致命缺陷,不得不分裂成 Q、K、V。
1.1 「查字典」的职责分离(动态 vs 静态)
- 只用一组向量:相当于按「拼写」去查最相近的词,只能找到字形相近的条目 —— 静态查找,查找依据与查找内容强耦合。
- Q 与 K 分裂后:把「我要找什么」和「我有什么」解耦。Q 提取语义特征去匹配 K 的索引,匹配变成动态的(哪怕存在「草莓」,只要 K 含”水果/红色”也能命中)。
1.2 数学根因:打破对称性 + 引入可学习参数
自己的点积 Attention = X·Xᵀ 是对称矩阵 → “A 关注 B”永远等于”B 关注 A”,这不符合自然语言。
引入投影矩阵后:
Q = X·W_Q K = X·W_K V = X·W_V
Score = (X·W_Q)·(X·W_K)ᵀ = X·(W_Q·W_Kᵀ)·Xᵀ
中间的 W_Q·W_Kᵀ 是可学习的非对称投影矩阵,打破了对称性,让模型学会「什么样的 Q 匹配什么样的 K」。
1.3 为什么还必须有 V(值)
即使有了 Q、K 算出权重,如果加权对象还是原始 X,模型只能做「选择」不能做「变换」。加入 V = X·W_V 后:
- 权重决定「从哪里拿」(索引)
- V 决定「拿什么内容」(内容)
1.4 多头的终极价值
Q、K、V 的分裂允许把输入投影到不同子空间:头1 抓语法邻近、头2 抓语义相似……如果只做”自己和自己点积”,所有能力混在一个无法解耦的向量空间里,模型容量严重受限。
一句话
只用一组向量 = 算固定相似度统计;分裂 QKV = 构建三个可学习的仿射变换,让模型拥有「主动查询 Q / 被动索引 K / 内容提取 V」三种独立能力。
2. 多 Token 如何并行进入注意力层
注意:多个 Token 不是拼(Concat)成一个超长向量,也不是单个独立算,而是以矩阵形式并行输入。
- 句子「我 爱 中国」→ 每个 Token 变
[512]→ 堆叠(Stack)成[3, 512]的二维矩阵 X。 - 错误做法 Concat 成
[1, 1536]:参数爆炸(全连接权重变[1536,1536])、丧失位置对应、无法并行出两两交互的注意力矩阵。 - 单个 Token 单独算:分数是
[1,1],退化成”自己看自己”,沦为词袋模型。
Q = X·W_Q -> [3,512] K = X·W_K -> [3,512] V = X·W_V -> [3,512]
Score = Q·Kᵀ -> [3,3] # 每格 = 一个 Token 对另一个 Token 的关注度
Output = Score·V -> [3,512]
容易混淆的点:Concat 出现在多头注意力输出层(多个头在特征维拼接),不是输入层。
3. 多头注意力为什么要切分子空间
标准做法是把 [3, 512] 切分成 8 个 [3, 64],各算各的再拼回 [3, 512]。不是每个头都输出 512 维再拼成 [3, 4096](那是维度偷懒的错误说法)。
X [3,512] -> reshape -> [3, 8, 64] # 8 个头,每头 [3,64]
每个头独立算注意力 -> 8 个 [3,64]
Concat -> [3, 512] -> 输出投影 W_O [512,512] -> [3,512]
为什么要切成 [heads, dim] 而不是保留整维?
- 降计算量:注意力复杂度 O(n²·d)。切 8×64 的总量远小于一个 512 维(8×64² ≪ 512²),快约 8 倍。
- 每个头”术业有专攻”:在低维子空间被迫找不同特征(语法结构 / 指代消解 / 邻近词)。
- 工程上并行度更高、更 IO 友好:多组小规模
[m,k]×[k,n]在 Tensor Core 上完全并行,比一个大矩阵更利用硬件。
4. 注意力分数为什么能并行
核心认知突破:Token 之间虽有依赖,但依赖在计算机里体现为「数据的排列(矩阵)」,而不是「时间的先后(循环)」。
- 计算
Q·Kᵀ = [L,L]时,所有分数格子在矩阵乘法同一纳秒内并行算出。 - Softmax 只需在每行做局部归约(Reduction),各行的归约也并发进行。
- 即使加因果掩码(Causal Mask),GPU 依然并行算满
[L,L],只是把右上角的分数置为-inf—— 计算量不减,只是屏蔽结果,掩码不破坏并行。
这是 Transformer 吊打 RNN 的本质:RNN 靠循环(强串行,必须等前一个隐状态),Transformer 只查「数据在不在显存里」(空间换时间,天然并行)。
5. 训练与推理:KV Cache 的诞生
矛盾:训练时可一次性并行送整个句子矩阵;推理时只能一个字一个字生成(自回归)。
朴素法(不可行):每个新 Token 都把前面全部 Token 重新算一遍 → 复杂度 O(n³),非常慢。
工业级做法 —— KV Cache(键值缓存):
- 历史 Token 的 K、V 一旦生成就不变,缓存在显存里复用。
- 每步只算当前新 Token 的 Q,拿它和缓存中所有历史 K 点积,再加权缓存中的 V。
- 复杂度从 O(n³) 降到 O(n)。
- 位置编码对齐陷阱:推理时不能把当前 Token 当位置 1,必须维护
step计数器,把绝对位置索引(对应训练时的位置)加进去,否则语义错乱。 - 变体 NAT(非自回归):一次填占位符并行预测,快但质量差,主流仍用”一个个生成 + KV Cache”。
6. 算子/IO 层:FlashAttention 与分块 Softmax
FlashAttention 把 seq 切块(IO 维度分块),与多头注意力「把 dim 切块」(计算维度分块)并列为当代加速两大范式。
6.1 小块注意力怎么拼回全局?
Softmax 是全局归一化,分块各自归一化会出错。FlashAttention 用在线 Softmax(Online Softmax)维护两个全局状态:
- 维护全局
max和sum。 - 每来一块更新
max,并在线修正前面所有块的已算输出,乘以校正系数e^(old_max − new_max)。 - 整个过程从不保存完整
[N,N]矩阵,只保留当前块局部分数和两个标量 → O(N) 显存、O(N²) 计算精度。
6.2 校正系数推导(为什么是 e^(old−new))
要点:前面块基于旧 max=5 归一化,现在全局最大值升到 11,则根据 全局 softmax 公式严格推导出,老块的局部权重要乘一个衰减系数 e^(5−11)=e^(−6),把所有分数从”减去5”改为”减去11”。这个系数正是 e^(old_max − new_max),与全局缩放因子无关、逐块一致。
7. 变长序列:cu_seqlens 与「拍扁」
传统做法给 Batch 3 个句长 [10,100,1000] 的句子 Padding 成 [1000,1000,1000],63% 计算是在算 0 → 算力与显存双重浪费。
FlashAttention / vLLM 的解法:把整个 Batch 拍成一维:
- 把 1110 个有效 Token 拼成连续
[1110, dim],用索引数组 cu_seqlens(如[0,10,110,1110])标记每句边界。 - 并行度没有消失,只是从「按句子并行」变成「按 Token 并行」;因为剔除了 Padding,有效并行数反而更多。
- 逻辑隔离靠索引、不靠物理分开:计算 Attention 时用
cu_seqlens把跨句子的分数置为 -inf(因果/块级掩码),确保句子互不串扰。 - 配合 KV Cache 存储为物理块,按需只抓取当前句子所属的块。
Tagential 一问:真正工业级(TensorRT-LLM)是在 Token 维度做 Padding(凑成 BlockSize 的倍数),而不是在句子维度,浪费被压在最后一个 Block 的余数内(通常 <1%)。
8. 显存层:PagedAttention 的分页魔法
KV Cache 有多吃显存(以 LLaMA-2 7B 为例):每 Token KV ≈ 2×L×H×D ≈ 0.5MB/Token(FP16)。2048 token 的 Prompt ≈ 1GB,并发 10 用户 = 10GB,32K 超长上下文单用户就 16GB。
传统 KV Cache 的致命问题:显存碎片化(Memory Fragmentation)。连续分配,请求结束释放后产生空洞,新请求需要连续大块却 OOM —— 显存明明有剩余,但全是小碎片。
PagedAttention(vLLM 核心)——把操作系统「分页/虚拟内存」搬到 GPU 显存:
- KV Cache 切成固定大小的页(Block),不再整体连续分配。
- 逻辑连续、物理分散:靠每请求一张页表(Page Table)记录映射。
- 新 Token 塞满当前页就动态申请新物理页,可来自任意空闲碎片。
9. 调度层:Continuous Batching 等
9.1 Continuous Batching(连续/动态批处理)
- 传统 Static Batching:凑满一个 Batch 一起 Prefill → 一起 Decode,等最慢的请求结束才整体返回,GPU 空转而显存/算力浪费。
- Continuous Batching:Batch 是「永不停歇的传送带」。每生成 1 个 Token 检查状态:EOS 立刻踢出释放 KV Cache,并马上从队列补进新请求(新请求的 Prefill 可与老请求的 Decoding 同一步并行)。
- 效果:GPU 稳定 90% 满载;快的先走、慢的后走。仅当队列空(尾部效应 tail effect)或超长 Prefill 太重伤到 Decoding 时会断流。
9.2 Chunked Prefill(分块预填充)
- 问题:长 Prompt 的 Prefill(一次算 1 万 Token)会「堵车」,阻塞 Batch 里其他请求的 1-Token Decoding。
- 解法:把长 Prompt 切成小块(如 512),分多步 Prefill,每步当成正在 Decoding 的普通请求,摊平计算峰值 → 吞吐整体更高。
9.3 Prefix Caching(前缀缓存)
- 重复的系统提示词(如客服场景)每次都重算很浪费。
- 缓存公共前缀的 KV Cache,多请求命中即复用 → 省显存省时间。
9.4 Padding 开销与「Batch 是否无关」
- 数学上所有模型(FC、卷积、Embedding)权重都不含 Batch 维,参数不依赖 Batch。
- 但 CV 用 BatchNorm(BN),训练时依赖 Batch 统计;Transformer 用 LayerNorm(LN),在每个 Token 特征维归一化,天然 Batch 无关 —— 这是它能配合 Continuous Batching 做「铁打的权重,流水的 Batch」的基石。
- 这也是 LLM 几乎不用 BN、CV 用 BN 的分水岭:CV 要空间不变性(局部特征),NLP 要上下文交互(只靠自己)。
10. 精度/计算层:量化与 TensorRT
10.1 推理 vs 部署(真的不是一回事)
- 训练:后端研发配方(试错、调参)—— 科学家。
- 推理:按配方现做一杯(执行前向)—— 店长。
- 部署:把服务端上桌并保证高峰并发、延迟、可用性等 —— 运营总监。推理是执行,部署是「上线可用」。
10.2 TensorRT(RT = Runtime,远不止运行时)
是 NVIDIA 的高性能推理优化器,做三件事:
- 算子融合(Layer Fusion):把 MHA、Add & Norm 等 3~4 个独立 CUDA Kernel 合并成一个,减少显存读写与启动开销 → 速度翻倍。
- 精度校准与量化:FP32 → FP16(快 2 倍)/ INT8(快 4 倍),显存减半。
- 内核自动调优(Auto-tuning):针对具体 GPU 型号枚举上千种写法定制。
10.3 三大护法(部署岗面试必问)
- 计算加速:TensorRT / FasterTransformer(算子融合、FP16/INT8/FP8、Tensor Core)。
- 显存管理:vLLM(PagedAttention),解决长文本/并发的 OOM。
- 调度策略:Continuous Batching,解决 GPU 利用率。
TensorRT-LLM = 硬件计算最快(TensorRT)+ 显存管理最极致(PagedAttention 用 CUDA 直写内核),是当前商用 GPT 类推理集群主流底座。
11. 分布式层:张量并行 TP 与流水线并行 PP
当单卡装不下模型(如 70B 需要 140GB 显存)时:
- 张量并行(Tensor Parallelism, TP):在单层内部把权重矩阵按列/行切分到多卡,卡片间通过 all-reduce 同步。适合单层内切、通信密集、单节点 NVLink 场景。
- 流水线并行(Pipeline Parallelism, PP):把模型按层切分到多卡,卡片串行接力(micro-batch 交错隐藏气泡)。通信量小、可跨节点。
二者可组合,是 70B~数百 B 模型单机/多机部署的基础。
12. 生成/架构层:投机采样与 MoE
12.1 投机采样(Speculative Decoding)
- 让一个小模型(Draft)先快速猜测未来 N 个 Token,再用大模型一次验证;猜对就一次接受 N 个 Token → 推理速度大幅提升,输出分布不变。
- 在 llama.cpp 等本地推理里称为 MTP(Multi-Token Prediction),通过提前预测待生成 Token,在算力受限下强行拉升生成速度(如设置 MTP=2)。
- 进阶 Medusa:用大模型自己的浅层/多头头做并行 Draft,无需外部小模型。
12.2 MoE(混合专家,Mixture of Experts)——稀疏激活
- 稠密模型(如 GPT-3 175B):每个 Token 都要过全部参数。
- MoE:把 FFN 复制成 N 份「专家」,门控网络(Router)对每个 Token 只激活 Top-2 个专家,其余跳过。
- 让模型变大(总参数量大)但单 Token 计算量不暴涨——Grok、Gemini 等把模型越做越大的关键。
13. 推理与部署真的不是一回事
见 10.1。核心:推理保证「单个前向正确快」,部署保证「大规模并发下稳定可用」。
14. 面试高频要点速查
| 主题 | 一句话答案 |
|---|---|
| QKV 为什么分裂 | 打破对称性 + 引入可学习非对称投影矩阵 W_QW_Kᵀ,V 提供内容变换 |
| 多 Token 输入 | 矩阵 [seq,dim] 并行,不是 Concat 也不是单个 |
| 多头为什么切分 | 降计算量 + 每头专攻不同语义 + 工程并行/IO 友好 |
| Attention 为什么能并行 | 依赖=数据排列(矩阵)不是时间循环;掩码不破坏并行 |
| 训练 vs 推理 | 训练并行全序列;推理自回归 + KV Cache 缓存历史 K/V |
| KV Cache 为何耗显存/碎片化 | 每 Token 0.5MB;连续分配碎片化 |
| PagedAttention | 把 KV Cache 分页 + 页表,逻辑连续物理分散(虚拟内存思想) |
| FlashAttention 拼回全局 | 在线 Softmax,维护 max/sum,老块乘 e^(old−new) |
| 变长序列 | cu_seqlens 拍扁 + Token 级并行 + 掩码隔离 |
| Continuous Batching | 永不歇的传送带,EOS 即踢出补新,GPU 满载 |
| TensorRT 三板斧 | 算子融合、量化、硬件感知自动调优 |
| TP vs PP | 层内矩阵切分(TP)vs 按层切分(PP) |
| 投机采样 | 小模型猜 / 大模型验证,一次多步 |
| MoE | 稀疏激活,大参数但小计算量 |