04 注意力机制(下):多头、KVcache 与 FlashAttention

图文帖转录 + 整理 · 来源:抖音 临渊不咸鱼 · 04注意力机制(下):多头注意力等
依据原图文帖 15 张幻灯片 OCR 整理,按原文目录重组为章节,保留全部原图。图中个别文字 OCR 有误(如”Vaswani→Vaswani et al.”、上下标丢失”W^Q/W^K/W^V/W^O”、”√→V”),已在正文按语义校正。


一句话定位

多头的精髓不是”多算几遍”,而是让同一个词在同一层里被多种关系同时解释——每个头握着一份自己的权重分布,一个头可以把 0.9 给”吸引”的构词关系,另一个头把 0.9 给”学生”的句法角色,谁也不给谁让路。

这份能力几乎不花参数(h 套投影是把一张 d×d 沿列切成 h 条),但机制一旦真要用,两张账单立刻出现:推理端的 KV cache、训练端的 L×L 表。全篇就按”能力从哪来 → 两张账单怎么付”走。


零、本篇地图

图01 正文目录

图02 本篇地图

看图要点:上排是能力(多头:一份参数切出 h 个互不挤占的视角);下排是两张账单——推理端先 KV cache 再 GQA(省带宽),训练端先 FlashAttention 再滑窗(先省带宽,再砍范围)。

例句沿用全系列基线:“科软放实习吸引学生报考”,11 个 token,形状账按 L=11、d=512 算;算真实模型时改用 L=4096、70B 配置。

承上:把注意力放回一层里

单头的算式到基础篇结束时就完整了:11×512 进,11×512 出。但它只是一层里的一个子层,要问”一个头够不够”,先得看清这个子层所在的三个坐标:

  • 残差:输出与输入同形,一层走的是 x + MHA(·) 的加法。残差的意义不止”不覆盖原文”——它让每个子层的默认行为是恒等映射:训练初期注意力还没学会任何东西时,信号原样通过,“加一层”的最坏情况是不变差,深网络才堆得起来。
  • 归一化:现代模型(pre-LN)在注意力之前做 LayerNorm,把进入注意力的向量拉回稳定尺度;2017 原论文放在之后(post-LN),深了要靠 warmup 硬扛。
  • FFN:注意力之后每个 token 独立过一遍前馈网络——注意力负责”跨位置取信息”,FFN 负责”取回来之后自己消化”,一个管通信,一个管加工,两者交替才构成完整的一层。

位置清楚了,问题就回到子层内部:这一个子层里,一个 softmax 够用吗?


一、多头:让同一个词同时被多种关系解释

1.1 单头卡在哪:一份权重,要同时服务好几种关系

例句(“科软放实习吸引学生报考”)里,“吸”要同时看三个位置,而看它们的理由完全不同:

  • 看”习”,理由是构词——“吸引”是一个词,“引”必须和”吸”绑在一起;
  • 看”实”,理由是句法——“实”是”实习”这个施动者的第一个 token;
  • 还要半看半不看地瞟一眼”学生”。

单头要做的事,是把这三份不同的理由压成一个数,再在整行上归一化。麻烦正出在归一化上:权重和恒为 1,想让”习”拿到 0.9,留给”学生”的就只剩 0.1。这不是”没学好”,是结构上装不下。

失败长什么样:单头训出来的注意力图往往是一条”什么都看了一点”的平缓分布——没有尖到”习”,也没有尖到”学生”。图上不是空白,是模糊:它把两种关系平均掉了,而不是表达出来了。

图03 单头卡在哪

1.2 精髓:多视角能并存,靠的是 h 份互不挤占的预算

多头多出来的从来不是参数,而是 h 份互不相干的归一化——于是”同时”才成为可能:第 1 个头把 0.9 给”习”的构词关系,第 2 个头把 0.9 给”学生”的句法关系,两件事不再互相扣分。

为什么”同时”只能这样换来?因为一次 softmax 就是一次预算分配,和恒为 1、天然排他:

是第 m 个头给位置对 (i, j) 打的分;m 只取 1 就退回单头。权重和仍然都是 1,但现在每个头各自归到 1——“各自满到 0.9”才第一次成立。

两条岔路可以直接排掉:

  • 把 d 加大、只用一个更长的头:权重仍是同一份,竞争关系一点没变;
  • 把 h 个头的结果先加起来再归一化:等于把预算又合回一份。

1.3 做法:一张表沿列切成 h 条

  • :第 m 个头自己的三个投影,把 d 维投到
  • h:头的个数; 通常取 ,于是 h 个头的总宽度正好等于 d
  • :输出投影,把 h 份独立结论重新融合

换成 1.2 的语言: 决定这个头问什么, 决定它按什么线索去对, 决定它对上了取走什么。三样各头各一套,每个头才可能盯住不同的关系。

论文 base 配置:d=512、h=8、d_k=64(现代模型常见 h=32/64、每头 128)。于是每个 是 512×64,Concat 把 8 份 11×64 拼回 11×512。

图04 多头拆分与拼接

看图要点:每个头内部与单头完全同构;全部差别发生在 Concat 与 ;行=位置 i、列=维度 j 的约定不变。

参数账:每头 3 个投影各 512×64,8 个头合计 ——与单头完全相同。多头不额外花参数。唯一的增量是 Concat 之后的输出投影(512×512)。

为什么是拼接而不是相加:相加把 8 个头的数混进同一批坐标,谁说的无从分辨;拼接保留位置,输出投影才学得出该听谁的。

“h 套投影”会不会变成 h 倍参数?不会——是切,不是复制。单头一张 是 512×512、262,144 个数;多头一头 512×64、32,768 个数,8 头合计 262,144,分毫不差。这是 的必然:。

代价也是真的:每头只分到 那么宽(论文配置下 64 维,单头是 512 维)。所以头数不能无限加——论文 Table 3 里把 h 加到 32、每头只剩 16 维时,效果反而回落。

⚠️ 前提是 。若有人取每头 (每头都不降维),参数就真变成 h 倍,那是另一种设计。

1.4 凭什么更好:实验、可视化与结构论证

一是对照实验。 原论文的消融(Vaswani et al., 2017, Table 3)层数、宽度、训练数据全都不动,只换”一个位置有几份预算、每份管多少维”——单头 24.9 BLEU,多头 25.8 BLEU,参数一分没多。涨的 0.9 只能归给计算结构:同一批数,被组织成了多份互不挤占的预算。

二是看得见的专化。 这些关系不是设计者指定的,是训练自己长出来的。可视化研究(Voita et al., 2019)在训练好的模型里找到了稳定的专化头:盯前一个词的位置头、追踪句法依存的句法头、处理稀有词的头,还有基础篇说的 attention sink 头。

图05 多头分工示意

看图要点(示意图,模式取自真实可视化里常见的专化头类型,不是某个模型的实测矩阵):六个面板没有任何两个相同——同一张 11×11 矩阵,每个头填进一种不同的模式,这就是”多视角”看得见的样子。

三是边界。 拼接只是摆放,融合仍靠 。三个投影合计 、 再 ,总共 ,与单头一字不差;算力 也是同账。所以 0.9 BLEU 的提升才能干净地归因于结构。真正变多的只有打分矩阵的显存(h 张 L×L),第四节处理。

进阶(可跳过):换一个角度看表达力—— 的秩最多 ;单头只有一把秩- 的尺子,多头把 h 把不同的秩- 尺子并联。另外 与 的取舍有下限: 太小则每头表达不足;且专化头只是可视化里能找到的模式,不可解释的头同样大量存在——分工是训练的涌现结果,不是保证。


二、KV cache:推理只算新词,因为旧内容不会变

要回答的问题:生成第 t 个词时,前面 t−1 个位置的 K、V 真的要重算吗?

先立一个错误直觉:推理就是每步把整句重新算一遍。按这个直觉,生成 1000 个词要算 次投影——同一批内容被重算了无数遍。

为什么没变? 因果掩码保证位置 i 的 K、V 只由 决定,与后来者无关。生成第 t 个词时,唯一的新东西是 :它问”我现在要找什么”,天然每步都是新的;K、V 是”被查的字典”,一旦写好就不改。

精髓句:先分清”什么变了、什么没变”——变的只有 Q,于是只算 Q。

RNN 没有这个拆分——它的隐状态每读一个词就被自己改写一次,“算过就不变”的东西根本不存在,缓存也就无从谈起。可缓存不是工程技巧,是 QKV 结构的红利:先有”内容静态”,才谈得上”增量计算”。

图06 KVcache 公式与取值

符号含义例句 / 70B 取值
2K 和 V 各存一份—
N层数论文 N=6(演示值);70B 是 80
L已生成的长度11 → 4096
hQ 头数(MHA 时)8 → 64
d_k每头维度64 → 128
B每数字节数(fp16 = 2)2

代算例句: 字节 ≈ 132 KB(N=6 是论文演示值)。
代算 70B: 2.62 MB/token——每生成一个词,cache 就长 2.62 MB;4k 上下文累计 10.7 GB。

图07 KVcache 随长度线性增长

看图要点(LLaMA-2 70B:80 层、64 个 Q 头、每头 128 维、fp16;GQA 为 8 组 KV 头):两条线都是直线,GQA 与 MHA 的差别只在斜率,不在形状——MHA 10.7 GB(2.62 MB/token),GQA(8 组) 1.34 GB(0.33 MB/token)。

cache 的账还揭示了一件硬件层面的事:decode 阶段每生成一个词都要把整份 cache 从显存读一遍,读的字节数远超算术量——这正是 memory-bound 的来源。往下的 GQA 与 FlashAttention,各自从这两头下手。


三、GQA / MQA:让多个 Q 头共用一本字典

要回答的问题:cache 要 10.7 GB,从哪个变量下手最划算?

公式里 N、L、 由模型能力决定,B 由精度决定,唯一松动的是 h。

  • MQA(Shazeer, 2019):所有 Q 头共享同一组 K/V,cache 直接缩到 1/h;代价是 h 个头挤一本字典,质量损失明显。
  • GQA(Ainslie et al., 2023):h 个 Q 头分成 g 组、每组共享一套 K/V。g=h 退回 MHA,g=1 退回 MQA。LLaMA-2 70B 取 64 个 Q 头、8 组 KV。

精髓句:多头的分工主要长在”怎么问”上,不在”字典里写了什么”上——所以一本字典可以几头共用,掉点有限。

回到第一节的分工图:多头学出来的专化,大头在提问方式上——头 1 问”前一个词是谁”、头 5 问”『实习』在哪”,这些差异体现在 里;而 K、V 提供的是同一份可检索的内容。分工主要长在 Q 侧,这是共享不掉点的结构原因;组数切得太少(MQA 的 g=1)才会伤到 K/V 侧本来就存在的多样性。

图08 MHA / MQA / GQA

看图要点:连线表示这个 Q 头用哪组 KV;cache 大小与 KV 组数严格成正比——组数减到 1/8,cache 就缩到 1/8。

关键辨析:GQA 省的是 cache,不是参数。

  • KV 投影参数从 降到 ,在几十亿参数里只占一小角;
  • cache 从 10.7 GB 缩到 1.34 GB(1/8)是实打实的 8 倍。

而 cache 的代价不只是显存,是并发:一张 80 GB 的卡,按 10.7 GB/条算只放得下 7 条并发序列,而这个数字直接压住吞吐——decode 是 memory-bound,每条序列每步都要把整份 cache 读一遍,并发数上不去,算力就只能空转。GQA 省下的 8 倍显存换来的是 8 倍并发,这才是它先在大模型推理上普及、而不是先谈”省参数”的原因。

工程上还有一条便宜的迁移路径:训好的 MHA 检查点做少量 uptraining(原论文约 5% 训练量)即可转成 GQA——这也是它能在几个月内替换掉 MHA 的工程原因。更进一步的 MLA(DeepSeek-V2)把 KV 压缩进低秩潜在向量,此处只提名字。


四、FlashAttention:不建那张表,也不牺牲精度

要回答的问题:注意力非要一张 L×L 的表不可吗?没有这张表,softmax 还能算对吗?

精髓句:FlashAttention 没有减少一次乘加,而是把”注意力太贵”重新诊断成”搬运太贵”。诊断一变,做法就跟着变:既然贵在把 L² 的中间产物搬进搬出,那就让它根本不落地——数学一个字不改,结果逐位等价。稀疏、低秩、滑窗都是”用精度换速度”,而它证明不牺牲精度也能快。

4.1 问题:一张 4096×4096 的表,算完还得存起来

打分矩阵 S 的形状是 L×L,只由序列长度决定,与每个头有多宽无关。这是多头最反直觉的一笔账:多头几乎不增加参数(3d² + d² = 4d²),但它让 S 多了 h 份——参数是权重,只有 d×d 那么大;S 是中间激活,大小只跟着 L 走。

代个数:L=4096、fp16,一张表 4096×4096×2 字节 ≈ 33.5 MB。一层 h=32 就是 32 张、约 1 GB;再乘 32 层、乘 batch,就是几十 GB——参数没涨,激活涨了 h 倍。上下文从 4k 拉到 32k,L² 还要再涨 64 倍。

朴素实现分三步:①算出整张 S,写回显存;②读回 S 做 softmax,把权重 P 又写回显存;③读回 P 乘 V,才得到输出 O。S 和 P 各写一遍读一遍,中间产物进出显存 4 次,共搬 134 MB——这些数里没有一个是你真正要的答案。

图09 朴素实现 vs FlashAttention 的数据通路

看图要点(L=4096、单头、fp16):左边每一步都要读写整张表;右边一块 K/V 站在片上、Q 一块块流过来,表从头到尾不存在。

4.2 想法:让表根本不落地——一块 K/V 站住,Q 从头走一遍

先注意一个事实:S 的每一行只属于一个 Q 词、每一列只属于一个 K 词——第 1 个词的输出只由 S 的第 1 行决定。于是把 Q 按行分块、K/V 按列分块,逐块乘、边乘边累加即可。

小块形状有严格的来历: 是 Q 的前 2 行(2×4), 是 K 的前 3 列(4×3),矩阵乘法要求内维相等并对消: 中间的两个 4 咬合消掉,剩下 2×3。所以 S 的行数跟 Q 块走、列数跟 K 块走,与每头多少维无关。acc 同理: 再乘 ,3 被消掉,得到 2×4——acc 全程都是同一块 2×4。

FlashAttention 的走法(L=6、每头 4 维的玩具例子:Q 分 3 块、每块 2 行;K/V 分 2 块、每块 3 列):

  1. 第 1 大轮:载入 、 在片上站住;Q 的第 1、2、3 块依次进来,各得各的部分和;
  2. 第 2 大轮:载入 、,Q 退回第 1 块再走一遍,新的部分和与第 1 轮的按比例折算后相加(为什么不能直接加,见 4.3);
  3. 六步走完,每行除以自己的 l,O 才落定。

图10 FlashAttention 六步过程

代价也在这里:Q 要按 K/V 的块数重复读——例子里的 Q 被读了两遍;真实场景 4096 个词、每块 128,Q 要读 32 遍。

4.3 唯一的麻烦:分母要整行,可你只有一半

softmax 每一行独立归一化:分母是这一行所有分数的指数和。分块后,每一行的完整部分和要等所有 K/V 块都轮过一遍才凑得齐——任何一轮手里都只有半行。

FlashAttention 的办法是记账:每算完一块,给每一行记三个数——本块最大分数 m、本块指数和 l、已攒的部分和 acc;等下一块来了再合并。

麻烦在于:数值要稳(,分数一超过 11 就溢出),而基准 c 必须整行统一。第 1 块算完时你不知道后面还有没有更大的,只能拿当时的最大值当 c;第 2 块来了更大的 4,c 就得换成 4——同一个分数,参照值换了,指数值就跟着变( 在 c=4 下应是 )。所以旧账(acc 和 l 一起)必须整体乘 折算过来,这一步叫 rescale。

图11 online softmax 的麻烦

图12 分块演算与 rescale

看图要点(沿用图 07 的例子,Q 前两行 × 6 个 K 分两块,每头 4 维):

  1. acc 是一块 2×4 矩阵:行数 = 这一块 Q 的行数(2),列数 = 每头维度(4),与 K/V 切成几块无关——全程同一块矩阵,每并入一块 K/V 只是把旧账折算后往里累加,不是从头重算;
  2. m 和 l 是逐行的:第 2 行的最大值本来就是 3,第 2 块没超过它就不用 rescale;第 1 行从 2 涨到 4,才要乘 0.135;
  3. 最后只除一次:l 攒齐后 acc 每一行除以自己的 l,得到 O 的这两行——与把整张 S 一次性 softmax 的结果逐位相同。

这套”边攒边修账”的递推就叫 online softmax——online 指分数一块一块流入、账随时修正。它保证了一个反直觉的结论:FlashAttention 是精确等价,没有近似任何东西。

4.4 值不值:三个数各回答一个问题

问题数字含义
放得下吗(显存峰值)33.5 MB/头的表 → 片上一块 128×128 的分数(约 0.1 MB),约 1/300这一条才是长上下文能训练的真正原因——峰值一旦落到几十 GB,模型再对也跑不起来
搬得动吗(搬运量)134 MB → 33.5 MB,约 1/4表没了,但 Q 要按 K/V 的块数重复读(4096/128 = 32 遍)
有没有偷工减料(计算量)一次乘加都没多算,FLOPs 不变(反向要重算,略增)保证它”快”不是靠少算

所以实测只快 2–4 倍:省的是搬数据的时间,不是计算的时间。

4.5 进阶(可跳过):块为什么偏偏是 128

块越大,Q 要重复读的遍数越少,但块必须整个装进片上内存。每行占多少字节由 决定,而 不是自由参数。

按论文 base 配置 d=512、h=8、=64,fp16 下每行就是 128 字节。A100 单个计算块 164 KB,把”一块算完之前必须同时活着”的东西逐项加起来:

图13 块大小 128 的来历

片上项大小
Q 块:128 行 × 64 维 × 2 B16 KB
K 块:128 列 × 64 维 × 2 B16 KB
V 块:128 列 × 64 维 × 2 B16 KB
S 块:128×128 × 2 B(唯一随 L² 增长的量)32 KB
acc:跨块累加的输出,fp32(4 B,不能丢精度)32 KB
m、l:每行一个 running max 和指数和1 KB
合计113 KB / 164 KB(还剩 51 KB)

把行数改成 256:32+16+16+64+64+2 = 194 KB > 164 KB,装不下——128 是”再大一号就爆”的那一档。

换一张卡、换一个 ,答案就变(H100 能取 256 行;LLaMA-7B 的 =128 每行字节翻倍,同样 164 KB 只装得下 64 行)。要带走的是”容量 ÷ 每行字节数”这个方法,不是 128 这个数。官方 kernel 的 BLOCK_M=128 就是这么在 A100 上标定出来的。

4.6 滑窗:另一条路,真近似

精髓句:滑窗不是加速技巧,而是承认”远处的信息这一层可以不要”——它改变的是模型能看到什么,不是怎么算。

做法很直接:每个位置只与最近 w 个位置算注意力(Mistral 7B 用 w=4096),计算与 cache 都从 L 降到 w——但这是真近似,窗口外的信息这一层确实看不见。补偿靠层间传播:一层看 4096、32 层理论上能把感受野叠到十三万左右,只是信息经多层转手,远距离的精确对齐会受损。

图14 滑窗对比与小结

FlashAttention滑窗
与标准注意力的关系精确等价近似(放弃全局)
省什么显存峰值(O(L²)→O(L))与读写带宽计算量与 cache 大小
不省什么FLOPs(反向重算,略增);Q 要多读 L/128 遍远距离对齐的精度

两者不互斥:Mistral 就是”滑窗 + FlashAttention 实现”。选型逻辑一句话——要精确,省带宽;要便宜,砍范围。


五、小结:五种机制一张表

机制缺了会怎样精髓(多出了什么能力)代价
多头一份权重和恒为 1,几种关系只能互相稀释同一层里同时表达多种关系:h 份互不挤占的归一化,各自都能满到高权重每头只剩 维;打分矩阵显存 ×h
Concat + W^O相加则坐标混叠,“谁说的”不可辨h 份结论各占一段,“谁说的”可辨识,融合方式由 学出来融合多一次投影
KV cache每步重算整句,推理慢到不可用Q/K/V 拆分让”内容”静态,于是”只算新词”成立显存随 L 线性增长
GQAcache 同时吃掉并发与上下文长度分工长在 Q 侧、字典可共用:显存与带宽同时降 g 倍组数太少伤质量
FlashAttentionL² 中间产物吃满带宽与显存峰值把”贵”从算力改判为搬运,于是不牺牲精度也能快(精确等价)Q 多读 L/Bq 遍;反向要重算
滑窗全局注意力在长序列上不可负担只保留最近 w 个,感受野靠层间传播折算真近似,远距离对齐受损

如果只记三句话:

  1. 多头多出来的是「同一层里同时表达多种关系」的能力,靠的不是更多参数,是 h 份互不相干的归一化预算;
  2. KV cache 的全部依据是”因果掩码下 K/V 算过就不变”;
  3. GQA 省的是带宽、FlashAttention 省的是搬运与显存峰值、滑窗省的是范围——三者省的从来不是同一样东西。别把比喻当机制:加法不是拼接、掩码不是调小权重。

六、面试向易错点

图15 面试易错点

面试考点常见答错正确答法面试官在考什么
多头为什么比单头好?“参数更多所以更强”/“参数一样那不就等于没改”能力上:同一个词在同一层里能被多种关系同时解释——每个头一份独立 softmax,一个头盯构词、一个盯句法,互不抢权重;单头一份预算、和恒为 1,只能折中。代价上:几乎不多花参数,因为 h 套投影是把一张 d×d 沿列切成 h 条(划分,不是复制),合计仍是 4d²。论文 Table 3:参数不动,24.9→25.8 BLEU会不会只背”多头更好”,说不出好在哪里、也没算过参数账
多头的”分工”是设计出来的吗?“论文规定了每个头各管一件事”不是。分工是训练自己长出来的:可视化里能看到位置头、句法头、稀有词头,也同样存在大量不可解释的头;能确定的只是”h 份独立预算给了并存的可能”是否把涌现现象当成硬编码规则
多个头的输出怎么合并?“各头结果按位相加”Concat 沿特征维拼回 d 维再乘 ;相加会坐标混叠、丢掉”哪个头说的”维度账是否亲手算过
KV cache 缓存什么?“Q、K、V 都缓存”只缓存 K、V——因果掩码下它们一旦算出就不变;Q 每步都是新的是否真理解”什么变了、什么没变”
GQA 省的是什么?为什么掉点不大?“省参数、省计算”省 KV cache 显存(缩到 g/h)与读取带宽;掉点不大是因为多头分工主要长在 Q 侧,K/V 字典可共用是否理解 decode 是 memory-bound + 分工归属
FlashAttention 是近似吗?“分块算肯定有误差”/“反正数据都要搬完,能省多少”精确等价:它不是把注意力算粗,而是把瓶颈从算力改判为搬运——rescale 的依据是”分子分母同乘常数商不变”,逐位还原全局 softmax。省的是不建那张 L² 的交接文件:显存峰值约 1/300,搬运量约 1/4,FLOPs 反而略增是否理解”它改的是数据通路,不是数学”,能否算清搬运账
分了块,直接把各块结果相加不行吗?“行,反正都是加权和”不行:各块取的指数基准不同(各自用自己的最大值),旧账必须乘 换算到同一基准再相加;直接加会让先算的块权重被高估 e^Δm 倍是否理解”缩放是统一单位,不是数学斤两变换”
块大小 128 是怎么定的?“经验值/论文规定”由片上容量反推:Q/K/V/S/acc/统计量六项合计 113 KB,对上 A100 的 164 KB;256 行要 194 KB,溢出。换成 H100 或 =128,答案就变是否会把硬件约束当常数背
滑窗注意力会丢信息吗?“不会,信息能传过去”单层真丢(近似);多层靠感受野叠加补回,但远距离精确对齐受损能否给”近似 vs 等价”分类

七、文中引用的论文

论文本篇用在哪
Vaswani et al., 2017, Attention Is All You Need多头结构、Table 3 消融(24.9→25.8 BLEU)
Voita et al., 2019训练好的模型里的专化头可视化(位置头、句法头、稀有词头)
Shazeer, 2019, Fast Transformer DecodingMQA:所有 Q 头共享一组 K/V
Ainslie et al., 2023, GQA分组共享 KV、uptraining 迁移(约 5% 训练量)
Dao et al., 2022, FlashAttention分块 + online softmax,精确等价
DeepSeek-V2(MLA)把 KV 压进低秩潜在向量(仅提及)
Mistral 7B滑窗 w=4096,与 FlashAttention 组合

相关笔记