Transformer 注意力机制与推理优化全栈

一句话总结

这是 3 篇 DeepSeek 问答对话的整理。内容从注意力机制的数学本质(QKV 为什么要分裂)一路推进到大模型的工业级推理部署优化(KV Cache → FlashAttention → PagedAttention → Continuous Batching → 分布式 → 投机采样),构成一张完整的「算法 → 算子 → 显存 → 调度 → 精度 → 并行 → 生成」分层优化图景。

全景图

层级优化关系见配套 Canvas:![[大模型推理优化全栈架构.canvas]]。下图自下而上 = 从底层算法到顶层目标。


目录

  1. 为什么 Q、K、V 非得分裂成 3 组
  2. 多 Token 如何并行进入注意力层
  3. 多头注意力为什么要切分子空间
  4. 注意力分数为什么能并行
  5. 训练与推理:KV Cache 的诞生
  6. 算子/IO 层:FlashAttention 与分块 Softmax
  7. 变长序列:cu_seqlens 与「拍扁」
  8. 显存层:PagedAttention 的分页魔法
  9. 调度层:Continuous Batching 等
  10. 精度/计算层:量化与 TensorRT
  11. 分布式层:张量并行 TP 与流水线并行 PP
  12. 生成/架构层:投机采样与 MoE
  13. 推理与部署真的不是一回事
  14. 面试高频要点速查

1. 为什么 Q、K、V 非得分裂成 3 组

直觉:注意力机制看似可以用「嵌入向量自己和自己点积」算加权,但这在数学和表达力上都存在致命缺陷,不得不分裂成 Q、K、V。

1.1 「查字典」的职责分离(动态 vs 静态)

  • 只用一组向量:相当于按「拼写」去查最相近的词,只能找到字形相近的条目 —— 静态查找,查找依据与查找内容强耦合。
  • Q 与 K 分裂后:把「我要找什么」和「我有什么」解耦。Q 提取语义特征去匹配 K 的索引,匹配变成动态的(哪怕存在「草莓」,只要 K 含”水果/红色”也能命中)。

1.2 数学根因:打破对称性 + 引入可学习参数

自己的点积 Attention = X·Xᵀ 是对称矩阵 → “A 关注 B”永远等于”B 关注 A”,这不符合自然语言。
引入投影矩阵后:

Q = X·W_Q      K = X·W_K      V = X·W_V
Score = (X·W_Q)·(X·W_K)ᵀ = X·(W_Q·W_Kᵀ)·Xᵀ

中间的 W_Q·W_Kᵀ 是可学习的非对称投影矩阵,打破了对称性,让模型学会「什么样的 Q 匹配什么样的 K」。

1.3 为什么还必须有 V(值)

即使有了 Q、K 算出权重,如果加权对象还是原始 X,模型只能做「选择」不能做「变换」。加入 V = X·W_V 后:

  • 权重决定「从哪里拿」(索引)
  • V 决定「拿什么内容」(内容)

1.4 多头的终极价值

Q、K、V 的分裂允许把输入投影到不同子空间:头1 抓语法邻近、头2 抓语义相似……如果只做”自己和自己点积”,所有能力混在一个无法解耦的向量空间里,模型容量严重受限。

一句话

只用一组向量 = 算固定相似度统计;分裂 QKV = 构建三个可学习的仿射变换,让模型拥有「主动查询 Q / 被动索引 K / 内容提取 V」三种独立能力。


2. 多 Token 如何并行进入注意力层

注意:多个 Token 不是拼(Concat)成一个超长向量,也不是单个独立算,而是以矩阵形式并行输入。

  • 句子「我 爱 中国」→ 每个 Token 变 [512] → 堆叠(Stack)成 [3, 512] 的二维矩阵 X。
  • 错误做法 Concat 成 [1, 1536]:参数爆炸(全连接权重变 [1536,1536])、丧失位置对应、无法并行出两两交互的注意力矩阵。
  • 单个 Token 单独算:分数是 [1,1],退化成”自己看自己”,沦为词袋模型。
Q = X·W_Q -> [3,512]    K = X·W_K -> [3,512]    V = X·W_V -> [3,512]
Score = Q·Kᵀ -> [3,3]   # 每格 = 一个 Token 对另一个 Token 的关注度
Output = Score·V -> [3,512]

容易混淆的点:Concat 出现在多头注意力输出层(多个头在特征维拼接),不是输入层。


3. 多头注意力为什么要切分子空间

标准做法是把 [3, 512] 切分成 8 个 [3, 64],各算各的再拼回 [3, 512]。不是每个头都输出 512 维再拼成 [3, 4096](那是维度偷懒的错误说法)。

X [3,512] -> reshape -> [3, 8, 64]   # 8 个头,每头 [3,64]
每个头独立算注意力 -> 8 个 [3,64]
Concat -> [3, 512]  ->  输出投影 W_O [512,512] -> [3,512]

为什么要切成 [heads, dim] 而不是保留整维?

  1. 降计算量:注意力复杂度 O(n²·d)。切 8×64 的总量远小于一个 512 维(8×64² ≪ 512²),快约 8 倍。
  2. 每个头”术业有专攻”:在低维子空间被迫找不同特征(语法结构 / 指代消解 / 邻近词)。
  3. 工程上并行度更高、更 IO 友好:多组小规模 [m,k]×[k,n] 在 Tensor Core 上完全并行,比一个大矩阵更利用硬件。

4. 注意力分数为什么能并行

核心认知突破:Token 之间虽有依赖,但依赖在计算机里体现为「数据的排列(矩阵)」,而不是「时间的先后(循环)」。

  • 计算 Q·Kᵀ = [L,L] 时,所有分数格子在矩阵乘法同一纳秒内并行算出。
  • Softmax 只需在每行做局部归约(Reduction),各行的归约也并发进行。
  • 即使加因果掩码(Causal Mask),GPU 依然并行算满 [L,L],只是把右上角的分数置为 -inf —— 计算量不减,只是屏蔽结果,掩码不破坏并行。

这是 Transformer 吊打 RNN 的本质:RNN 靠循环(强串行,必须等前一个隐状态),Transformer 只查「数据在不在显存里」(空间换时间,天然并行)。


5. 训练与推理:KV Cache 的诞生

矛盾:训练时可一次性并行送整个句子矩阵;推理时只能一个字一个字生成(自回归)。

朴素法(不可行):每个新 Token 都把前面全部 Token 重新算一遍 → 复杂度 O(n³),非常慢。

工业级做法 —— KV Cache(键值缓存):

  • 历史 Token 的 K、V 一旦生成就不变,缓存在显存里复用。
  • 每步只算当前新 Token 的 Q,拿它和缓存中所有历史 K 点积,再加权缓存中的 V。
  • 复杂度从 O(n³) 降到 O(n)。
  • 位置编码对齐陷阱:推理时不能把当前 Token 当位置 1,必须维护 step 计数器,把绝对位置索引(对应训练时的位置)加进去,否则语义错乱。
  • 变体 NAT(非自回归):一次填占位符并行预测,快但质量差,主流仍用”一个个生成 + KV Cache”。

6. 算子/IO 层:FlashAttention 与分块 Softmax

FlashAttention 把 seq 切块(IO 维度分块),与多头注意力「把 dim 切块」(计算维度分块)并列为当代加速两大范式。

6.1 小块注意力怎么拼回全局?

Softmax 是全局归一化,分块各自归一化会出错。FlashAttention 用在线 Softmax(Online Softmax)维护两个全局状态:

  • 维护全局 max 和 sum。
  • 每来一块更新 max,并在线修正前面所有块的已算输出,乘以校正系数 e^(old_max − new_max)。
  • 整个过程从不保存完整 [N,N] 矩阵,只保留当前块局部分数和两个标量 → O(N) 显存、O(N²) 计算精度。

6.2 校正系数推导(为什么是 e^(old−new))

要点:前面块基于旧 max=5 归一化,现在全局最大值升到 11,则根据 全局 softmax 公式严格推导出,老块的局部权重要乘一个衰减系数 e^(5−11)=e^(−6),把所有分数从”减去5”改为”减去11”。这个系数正是 e^(old_max − new_max),与全局缩放因子无关、逐块一致。


7. 变长序列:cu_seqlens 与「拍扁」

传统做法给 Batch 3 个句长 [10,100,1000] 的句子 Padding 成 [1000,1000,1000],63% 计算是在算 0 → 算力与显存双重浪费。

FlashAttention / vLLM 的解法:把整个 Batch 拍成一维:

  • 把 1110 个有效 Token 拼成连续 [1110, dim],用索引数组 cu_seqlens(如 [0,10,110,1110])标记每句边界。
  • 并行度没有消失,只是从「按句子并行」变成「按 Token 并行」;因为剔除了 Padding,有效并行数反而更多。
  • 逻辑隔离靠索引、不靠物理分开:计算 Attention 时用 cu_seqlens 把跨句子的分数置为 -inf(因果/块级掩码),确保句子互不串扰。
  • 配合 KV Cache 存储为物理块,按需只抓取当前句子所属的块。

Tagential 一问:真正工业级(TensorRT-LLM)是在 Token 维度做 Padding(凑成 BlockSize 的倍数),而不是在句子维度,浪费被压在最后一个 Block 的余数内(通常 <1%)。


8. 显存层:PagedAttention 的分页魔法

KV Cache 有多吃显存(以 LLaMA-2 7B 为例):每 Token KV ≈ 2×L×H×D ≈ 0.5MB/Token(FP16)。2048 token 的 Prompt ≈ 1GB,并发 10 用户 = 10GB,32K 超长上下文单用户就 16GB。

传统 KV Cache 的致命问题:显存碎片化(Memory Fragmentation)。连续分配,请求结束释放后产生空洞,新请求需要连续大块却 OOM —— 显存明明有剩余,但全是小碎片。

PagedAttention(vLLM 核心)——把操作系统「分页/虚拟内存」搬到 GPU 显存:

  1. KV Cache 切成固定大小的页(Block),不再整体连续分配。
  2. 逻辑连续、物理分散:靠每请求一张页表(Page Table)记录映射。
  3. 新 Token 塞满当前页就动态申请新物理页,可来自任意空闲碎片。

9. 调度层:Continuous Batching 等

9.1 Continuous Batching(连续/动态批处理)

  • 传统 Static Batching:凑满一个 Batch 一起 Prefill → 一起 Decode,等最慢的请求结束才整体返回,GPU 空转而显存/算力浪费。
  • Continuous Batching:Batch 是「永不停歇的传送带」。每生成 1 个 Token 检查状态:EOS 立刻踢出释放 KV Cache,并马上从队列补进新请求(新请求的 Prefill 可与老请求的 Decoding 同一步并行)。
  • 效果:GPU 稳定 90% 满载;快的先走、慢的后走。仅当队列空(尾部效应 tail effect)或超长 Prefill 太重伤到 Decoding 时会断流。

9.2 Chunked Prefill(分块预填充)

  • 问题:长 Prompt 的 Prefill(一次算 1 万 Token)会「堵车」,阻塞 Batch 里其他请求的 1-Token Decoding。
  • 解法:把长 Prompt 切成小块(如 512),分多步 Prefill,每步当成正在 Decoding 的普通请求,摊平计算峰值 → 吞吐整体更高。

9.3 Prefix Caching(前缀缓存)

  • 重复的系统提示词(如客服场景)每次都重算很浪费。
  • 缓存公共前缀的 KV Cache,多请求命中即复用 → 省显存省时间。

9.4 Padding 开销与「Batch 是否无关」

  • 数学上所有模型(FC、卷积、Embedding)权重都不含 Batch 维,参数不依赖 Batch。
  • 但 CV 用 BatchNorm(BN),训练时依赖 Batch 统计;Transformer 用 LayerNorm(LN),在每个 Token 特征维归一化,天然 Batch 无关 —— 这是它能配合 Continuous Batching 做「铁打的权重,流水的 Batch」的基石。
  • 这也是 LLM 几乎不用 BN、CV 用 BN 的分水岭:CV 要空间不变性(局部特征),NLP 要上下文交互(只靠自己)。

10. 精度/计算层:量化与 TensorRT

10.1 推理 vs 部署(真的不是一回事)

  • 训练:后端研发配方(试错、调参)—— 科学家。
  • 推理:按配方现做一杯(执行前向)—— 店长。
  • 部署:把服务端上桌并保证高峰并发、延迟、可用性等 —— 运营总监。推理是执行,部署是「上线可用」。

10.2 TensorRT(RT = Runtime,远不止运行时)

是 NVIDIA 的高性能推理优化器,做三件事:

  1. 算子融合(Layer Fusion):把 MHA、Add & Norm 等 3~4 个独立 CUDA Kernel 合并成一个,减少显存读写与启动开销 → 速度翻倍。
  2. 精度校准与量化:FP32 → FP16(快 2 倍)/ INT8(快 4 倍),显存减半。
  3. 内核自动调优(Auto-tuning):针对具体 GPU 型号枚举上千种写法定制。

10.3 三大护法(部署岗面试必问)

  • 计算加速:TensorRT / FasterTransformer(算子融合、FP16/INT8/FP8、Tensor Core)。
  • 显存管理:vLLM(PagedAttention),解决长文本/并发的 OOM。
  • 调度策略:Continuous Batching,解决 GPU 利用率。

TensorRT-LLM = 硬件计算最快(TensorRT)+ 显存管理最极致(PagedAttention 用 CUDA 直写内核),是当前商用 GPT 类推理集群主流底座。


11. 分布式层:张量并行 TP 与流水线并行 PP

当单卡装不下模型(如 70B 需要 140GB 显存)时:

  • 张量并行(Tensor Parallelism, TP):在单层内部把权重矩阵按列/行切分到多卡,卡片间通过 all-reduce 同步。适合单层内切、通信密集、单节点 NVLink 场景。
  • 流水线并行(Pipeline Parallelism, PP):把模型按层切分到多卡,卡片串行接力(micro-batch 交错隐藏气泡)。通信量小、可跨节点。

二者可组合,是 70B~数百 B 模型单机/多机部署的基础。


12. 生成/架构层:投机采样与 MoE

12.1 投机采样(Speculative Decoding)

  • 让一个小模型(Draft)先快速猜测未来 N 个 Token,再用大模型一次验证;猜对就一次接受 N 个 Token → 推理速度大幅提升,输出分布不变。
  • 在 llama.cpp 等本地推理里称为 MTP(Multi-Token Prediction),通过提前预测待生成 Token,在算力受限下强行拉升生成速度(如设置 MTP=2)。
  • 进阶 Medusa:用大模型自己的浅层/多头头做并行 Draft,无需外部小模型。

12.2 MoE(混合专家,Mixture of Experts)——稀疏激活

  • 稠密模型(如 GPT-3 175B):每个 Token 都要过全部参数。
  • MoE:把 FFN 复制成 N 份「专家」,门控网络(Router)对每个 Token 只激活 Top-2 个专家,其余跳过。
  • 让模型变大(总参数量大)但单 Token 计算量不暴涨——Grok、Gemini 等把模型越做越大的关键。

13. 推理与部署真的不是一回事

见 10.1。核心:推理保证「单个前向正确快」,部署保证「大规模并发下稳定可用」。


14. 面试高频要点速查

主题一句话答案
QKV 为什么分裂打破对称性 + 引入可学习非对称投影矩阵 W_QW_Kᵀ,V 提供内容变换
多 Token 输入矩阵 [seq,dim] 并行,不是 Concat 也不是单个
多头为什么切分降计算量 + 每头专攻不同语义 + 工程并行/IO 友好
Attention 为什么能并行依赖=数据排列(矩阵)不是时间循环;掩码不破坏并行
训练 vs 推理训练并行全序列;推理自回归 + KV Cache 缓存历史 K/V
KV Cache 为何耗显存/碎片化每 Token 0.5MB;连续分配碎片化
PagedAttention把 KV Cache 分页 + 页表,逻辑连续物理分散(虚拟内存思想)
FlashAttention 拼回全局在线 Softmax,维护 max/sum,老块乘 e^(old−new)
变长序列cu_seqlens 拍扁 + Token 级并行 + 掩码隔离
Continuous Batching永不歇的传送带,EOS 即踢出补新,GPU 满载
TensorRT 三板斧算子融合、量化、硬件感知自动调优
TP vs PP层内矩阵切分(TP)vs 按层切分(PP)
投机采样小模型猜 / 大模型验证,一次多步
MoE稀疏激活,大参数但小计算量

相关笔记