04 注意力机制(下):多头、KVcache 与 FlashAttention
图文帖转录 + 整理 · 来源:抖音
临渊不咸鱼· 04注意力机制(下):多头注意力等
依据原图文帖 15 张幻灯片 OCR 整理,按原文目录重组为章节,保留全部原图。图中个别文字 OCR 有误(如”Vaswani→Vaswani et al.”、上下标丢失”W^Q/W^K/W^V/W^O”、”√→V”),已在正文按语义校正。
一句话定位
多头的精髓不是”多算几遍”,而是让同一个词在同一层里被多种关系同时解释——每个头握着一份自己的权重分布,一个头可以把 0.9 给”吸引”的构词关系,另一个头把 0.9 给”学生”的句法角色,谁也不给谁让路。
这份能力几乎不花参数(h 套投影是把一张 d×d 沿列切成 h 条),但机制一旦真要用,两张账单立刻出现:推理端的 KV cache、训练端的 L×L 表。全篇就按”能力从哪来 → 两张账单怎么付”走。
零、本篇地图
:多头、kvcache与flashattention_图文/图01-正文目录.webp)
:多头、kvcache与flashattention_图文/图02-本篇地图.webp)
看图要点:上排是能力(多头:一份参数切出 h 个互不挤占的视角);下排是两张账单——推理端先 KV cache 再 GQA(省带宽),训练端先 FlashAttention 再滑窗(先省带宽,再砍范围)。
例句沿用全系列基线:“科软放实习吸引学生报考”,11 个 token,形状账按 L=11、d=512 算;算真实模型时改用 L=4096、70B 配置。
承上:把注意力放回一层里
单头的算式到基础篇结束时就完整了:11×512 进,11×512 出。但它只是一层里的一个子层,要问”一个头够不够”,先得看清这个子层所在的三个坐标:
- 残差:输出与输入同形,一层走的是
x + MHA(·)的加法。残差的意义不止”不覆盖原文”——它让每个子层的默认行为是恒等映射:训练初期注意力还没学会任何东西时,信号原样通过,“加一层”的最坏情况是不变差,深网络才堆得起来。 - 归一化:现代模型(pre-LN)在注意力之前做 LayerNorm,把进入注意力的向量拉回稳定尺度;2017 原论文放在之后(post-LN),深了要靠 warmup 硬扛。
- FFN:注意力之后每个 token 独立过一遍前馈网络——注意力负责”跨位置取信息”,FFN 负责”取回来之后自己消化”,一个管通信,一个管加工,两者交替才构成完整的一层。
位置清楚了,问题就回到子层内部:这一个子层里,一个 softmax 够用吗?
一、多头:让同一个词同时被多种关系解释
1.1 单头卡在哪:一份权重,要同时服务好几种关系
例句(“科软放实习吸引学生报考”)里,“吸”要同时看三个位置,而看它们的理由完全不同:
- 看”习”,理由是构词——“吸引”是一个词,“引”必须和”吸”绑在一起;
- 看”实”,理由是句法——“实”是”实习”这个施动者的第一个 token;
- 还要半看半不看地瞟一眼”学生”。
单头要做的事,是把这三份不同的理由压成一个数,再在整行上归一化。麻烦正出在归一化上:权重和恒为 1,想让”习”拿到 0.9,留给”学生”的就只剩 0.1。这不是”没学好”,是结构上装不下。
失败长什么样:单头训出来的注意力图往往是一条”什么都看了一点”的平缓分布——没有尖到”习”,也没有尖到”学生”。图上不是空白,是模糊:它把两种关系平均掉了,而不是表达出来了。
:多头、kvcache与flashattention_图文/图03-单头卡在哪.webp)
1.2 精髓:多视角能并存,靠的是 h 份互不挤占的预算
多头多出来的从来不是参数,而是 h 份互不相干的归一化——于是”同时”才成为可能:第 1 个头把 0.9 给”习”的构词关系,第 2 个头把 0.9 给”学生”的句法关系,两件事不再互相扣分。
为什么”同时”只能这样换来?因为一次 softmax 就是一次预算分配,和恒为 1、天然排他:
是第 m 个头给位置对 (i, j) 打的分;m 只取 1 就退回单头。权重和仍然都是 1,但现在每个头各自归到 1——“各自满到 0.9”才第一次成立。
两条岔路可以直接排掉:
- 把 d 加大、只用一个更长的头:权重仍是同一份,竞争关系一点没变;
- 把 h 个头的结果先加起来再归一化:等于把预算又合回一份。
1.3 做法:一张表沿列切成 h 条
- :第 m 个头自己的三个投影,把 d 维投到
- h:头的个数; 通常取 ,于是 h 个头的总宽度正好等于 d
- :输出投影,把 h 份独立结论重新融合
换成 1.2 的语言: 决定这个头问什么, 决定它按什么线索去对, 决定它对上了取走什么。三样各头各一套,每个头才可能盯住不同的关系。
论文 base 配置:d=512、h=8、d_k=64(现代模型常见 h=32/64、每头 128)。于是每个 是 512×64,Concat 把 8 份 11×64 拼回 11×512。
:多头、kvcache与flashattention_图文/图04-多头拆分与拼接.webp)
看图要点:每个头内部与单头完全同构;全部差别发生在 Concat 与 ;行=位置 i、列=维度 j 的约定不变。
参数账:每头 3 个投影各 512×64,8 个头合计 ——与单头完全相同。多头不额外花参数。唯一的增量是 Concat 之后的输出投影(512×512)。
为什么是拼接而不是相加:相加把 8 个头的数混进同一批坐标,谁说的无从分辨;拼接保留位置,输出投影才学得出该听谁的。
“h 套投影”会不会变成 h 倍参数?不会——是切,不是复制。单头一张 是 512×512、262,144 个数;多头一头 512×64、32,768 个数,8 头合计 262,144,分毫不差。这是 的必然:。
代价也是真的:每头只分到 那么宽(论文配置下 64 维,单头是 512 维)。所以头数不能无限加——论文 Table 3 里把 h 加到 32、每头只剩 16 维时,效果反而回落。
⚠️ 前提是 。若有人取每头 (每头都不降维),参数就真变成 h 倍,那是另一种设计。
1.4 凭什么更好:实验、可视化与结构论证
一是对照实验。 原论文的消融(Vaswani et al., 2017, Table 3)层数、宽度、训练数据全都不动,只换”一个位置有几份预算、每份管多少维”——单头 24.9 BLEU,多头 25.8 BLEU,参数一分没多。涨的 0.9 只能归给计算结构:同一批数,被组织成了多份互不挤占的预算。
二是看得见的专化。 这些关系不是设计者指定的,是训练自己长出来的。可视化研究(Voita et al., 2019)在训练好的模型里找到了稳定的专化头:盯前一个词的位置头、追踪句法依存的句法头、处理稀有词的头,还有基础篇说的 attention sink 头。
:多头、kvcache与flashattention_图文/图05-多头分工示意.webp)
看图要点(示意图,模式取自真实可视化里常见的专化头类型,不是某个模型的实测矩阵):六个面板没有任何两个相同——同一张 11×11 矩阵,每个头填进一种不同的模式,这就是”多视角”看得见的样子。
三是边界。 拼接只是摆放,融合仍靠 。三个投影合计 、 再 ,总共 ,与单头一字不差;算力 也是同账。所以 0.9 BLEU 的提升才能干净地归因于结构。真正变多的只有打分矩阵的显存(h 张 L×L),第四节处理。
进阶(可跳过):换一个角度看表达力—— 的秩最多 ;单头只有一把秩- 的尺子,多头把 h 把不同的秩- 尺子并联。另外 与 的取舍有下限: 太小则每头表达不足;且专化头只是可视化里能找到的模式,不可解释的头同样大量存在——分工是训练的涌现结果,不是保证。
二、KV cache:推理只算新词,因为旧内容不会变
要回答的问题:生成第 t 个词时,前面 t−1 个位置的 K、V 真的要重算吗?
先立一个错误直觉:推理就是每步把整句重新算一遍。按这个直觉,生成 1000 个词要算 次投影——同一批内容被重算了无数遍。
为什么没变? 因果掩码保证位置 i 的 K、V 只由 决定,与后来者无关。生成第 t 个词时,唯一的新东西是 :它问”我现在要找什么”,天然每步都是新的;K、V 是”被查的字典”,一旦写好就不改。
精髓句:先分清”什么变了、什么没变”——变的只有 Q,于是只算 Q。
RNN 没有这个拆分——它的隐状态每读一个词就被自己改写一次,“算过就不变”的东西根本不存在,缓存也就无从谈起。可缓存不是工程技巧,是 QKV 结构的红利:先有”内容静态”,才谈得上”增量计算”。
:多头、kvcache与flashattention_图文/图06-kvcache公式.webp)
| 符号 | 含义 | 例句 / 70B 取值 |
|---|---|---|
| 2 | K 和 V 各存一份 | — |
| N | 层数 | 论文 N=6(演示值);70B 是 80 |
| L | 已生成的长度 | 11 → 4096 |
| h | Q 头数(MHA 时) | 8 → 64 |
| d_k | 每头维度 | 64 → 128 |
| B | 每数字节数(fp16 = 2) | 2 |
代算例句: 字节 ≈ 132 KB(N=6 是论文演示值)。
代算 70B: 2.62 MB/token——每生成一个词,cache 就长 2.62 MB;4k 上下文累计 10.7 GB。
:多头、kvcache与flashattention_图文/图07-kvcache随长度增长.webp)
看图要点(LLaMA-2 70B:80 层、64 个 Q 头、每头 128 维、fp16;GQA 为 8 组 KV 头):两条线都是直线,GQA 与 MHA 的差别只在斜率,不在形状——MHA 10.7 GB(2.62 MB/token),GQA(8 组) 1.34 GB(0.33 MB/token)。
cache 的账还揭示了一件硬件层面的事:decode 阶段每生成一个词都要把整份 cache 从显存读一遍,读的字节数远超算术量——这正是 memory-bound 的来源。往下的 GQA 与 FlashAttention,各自从这两头下手。
三、GQA / MQA:让多个 Q 头共用一本字典
要回答的问题:cache 要 10.7 GB,从哪个变量下手最划算?
公式里 N、L、 由模型能力决定,B 由精度决定,唯一松动的是 h。
- MQA(Shazeer, 2019):所有 Q 头共享同一组 K/V,cache 直接缩到 1/h;代价是 h 个头挤一本字典,质量损失明显。
- GQA(Ainslie et al., 2023):h 个 Q 头分成 g 组、每组共享一套 K/V。g=h 退回 MHA,g=1 退回 MQA。LLaMA-2 70B 取 64 个 Q 头、8 组 KV。
精髓句:多头的分工主要长在”怎么问”上,不在”字典里写了什么”上——所以一本字典可以几头共用,掉点有限。
回到第一节的分工图:多头学出来的专化,大头在提问方式上——头 1 问”前一个词是谁”、头 5 问”『实习』在哪”,这些差异体现在 里;而 K、V 提供的是同一份可检索的内容。分工主要长在 Q 侧,这是共享不掉点的结构原因;组数切得太少(MQA 的 g=1)才会伤到 K/V 侧本来就存在的多样性。
:多头、kvcache与flashattention_图文/图08-mha-mqa-gqa.webp)
看图要点:连线表示这个 Q 头用哪组 KV;cache 大小与 KV 组数严格成正比——组数减到 1/8,cache 就缩到 1/8。
关键辨析:GQA 省的是 cache,不是参数。
- KV 投影参数从 降到 ,在几十亿参数里只占一小角;
- cache 从 10.7 GB 缩到 1.34 GB(1/8)是实打实的 8 倍。
而 cache 的代价不只是显存,是并发:一张 80 GB 的卡,按 10.7 GB/条算只放得下 7 条并发序列,而这个数字直接压住吞吐——decode 是 memory-bound,每条序列每步都要把整份 cache 读一遍,并发数上不去,算力就只能空转。GQA 省下的 8 倍显存换来的是 8 倍并发,这才是它先在大模型推理上普及、而不是先谈”省参数”的原因。
工程上还有一条便宜的迁移路径:训好的 MHA 检查点做少量 uptraining(原论文约 5% 训练量)即可转成 GQA——这也是它能在几个月内替换掉 MHA 的工程原因。更进一步的 MLA(DeepSeek-V2)把 KV 压缩进低秩潜在向量,此处只提名字。
四、FlashAttention:不建那张表,也不牺牲精度
要回答的问题:注意力非要一张 L×L 的表不可吗?没有这张表,softmax 还能算对吗?
精髓句:FlashAttention 没有减少一次乘加,而是把”注意力太贵”重新诊断成”搬运太贵”。诊断一变,做法就跟着变:既然贵在把 L² 的中间产物搬进搬出,那就让它根本不落地——数学一个字不改,结果逐位等价。稀疏、低秩、滑窗都是”用精度换速度”,而它证明不牺牲精度也能快。
4.1 问题:一张 4096×4096 的表,算完还得存起来
打分矩阵 S 的形状是 L×L,只由序列长度决定,与每个头有多宽无关。这是多头最反直觉的一笔账:多头几乎不增加参数(3d² + d² = 4d²),但它让 S 多了 h 份——参数是权重,只有 d×d 那么大;S 是中间激活,大小只跟着 L 走。
代个数:L=4096、fp16,一张表 4096×4096×2 字节 ≈ 33.5 MB。一层 h=32 就是 32 张、约 1 GB;再乘 32 层、乘 batch,就是几十 GB——参数没涨,激活涨了 h 倍。上下文从 4k 拉到 32k,L² 还要再涨 64 倍。
朴素实现分三步:①算出整张 S,写回显存;②读回 S 做 softmax,把权重 P 又写回显存;③读回 P 乘 V,才得到输出 O。S 和 P 各写一遍读一遍,中间产物进出显存 4 次,共搬 134 MB——这些数里没有一个是你真正要的答案。
:多头、kvcache与flashattention_图文/图09-朴素与flashattention数据通路.webp)
看图要点(L=4096、单头、fp16):左边每一步都要读写整张表;右边一块 K/V 站在片上、Q 一块块流过来,表从头到尾不存在。
4.2 想法:让表根本不落地——一块 K/V 站住,Q 从头走一遍
先注意一个事实:S 的每一行只属于一个 Q 词、每一列只属于一个 K 词——第 1 个词的输出只由 S 的第 1 行决定。于是把 Q 按行分块、K/V 按列分块,逐块乘、边乘边累加即可。
小块形状有严格的来历: 是 Q 的前 2 行(2×4), 是 K 的前 3 列(4×3),矩阵乘法要求内维相等并对消: 中间的两个 4 咬合消掉,剩下 2×3。所以 S 的行数跟 Q 块走、列数跟 K 块走,与每头多少维无关。acc 同理: 再乘 ,3 被消掉,得到 2×4——acc 全程都是同一块 2×4。
FlashAttention 的走法(L=6、每头 4 维的玩具例子:Q 分 3 块、每块 2 行;K/V 分 2 块、每块 3 列):
- 第 1 大轮:载入 、 在片上站住;Q 的第 1、2、3 块依次进来,各得各的部分和;
- 第 2 大轮:载入 、,Q 退回第 1 块再走一遍,新的部分和与第 1 轮的按比例折算后相加(为什么不能直接加,见 4.3);
- 六步走完,每行除以自己的 l,O 才落定。
:多头、kvcache与flashattention_图文/图10-flashattention六步.webp)
代价也在这里:Q 要按 K/V 的块数重复读——例子里的 Q 被读了两遍;真实场景 4096 个词、每块 128,Q 要读 32 遍。
4.3 唯一的麻烦:分母要整行,可你只有一半
softmax 每一行独立归一化:分母是这一行所有分数的指数和。分块后,每一行的完整部分和要等所有 K/V 块都轮过一遍才凑得齐——任何一轮手里都只有半行。
FlashAttention 的办法是记账:每算完一块,给每一行记三个数——本块最大分数 m、本块指数和 l、已攒的部分和 acc;等下一块来了再合并。
麻烦在于:数值要稳(,分数一超过 11 就溢出),而基准 c 必须整行统一。第 1 块算完时你不知道后面还有没有更大的,只能拿当时的最大值当 c;第 2 块来了更大的 4,c 就得换成 4——同一个分数,参照值换了,指数值就跟着变( 在 c=4 下应是 )。所以旧账(acc 和 l 一起)必须整体乘 折算过来,这一步叫 rescale。
:多头、kvcache与flashattention_图文/图11-online-softmax的麻烦.webp)
:多头、kvcache与flashattention_图文/图12-分块演算与rescale.webp)
看图要点(沿用图 07 的例子,Q 前两行 × 6 个 K 分两块,每头 4 维):
- acc 是一块 2×4 矩阵:行数 = 这一块 Q 的行数(2),列数 = 每头维度(4),与 K/V 切成几块无关——全程同一块矩阵,每并入一块 K/V 只是把旧账折算后往里累加,不是从头重算;
- m 和 l 是逐行的:第 2 行的最大值本来就是 3,第 2 块没超过它就不用 rescale;第 1 行从 2 涨到 4,才要乘 0.135;
- 最后只除一次:l 攒齐后 acc 每一行除以自己的 l,得到 O 的这两行——与把整张 S 一次性 softmax 的结果逐位相同。
这套”边攒边修账”的递推就叫 online softmax——online 指分数一块一块流入、账随时修正。它保证了一个反直觉的结论:FlashAttention 是精确等价,没有近似任何东西。
4.4 值不值:三个数各回答一个问题
| 问题 | 数字 | 含义 |
|---|---|---|
| 放得下吗(显存峰值) | 33.5 MB/头的表 → 片上一块 128×128 的分数(约 0.1 MB),约 1/300 | 这一条才是长上下文能训练的真正原因——峰值一旦落到几十 GB,模型再对也跑不起来 |
| 搬得动吗(搬运量) | 134 MB → 33.5 MB,约 1/4 | 表没了,但 Q 要按 K/V 的块数重复读(4096/128 = 32 遍) |
| 有没有偷工减料(计算量) | 一次乘加都没多算,FLOPs 不变(反向要重算,略增) | 保证它”快”不是靠少算 |
所以实测只快 2–4 倍:省的是搬数据的时间,不是计算的时间。
4.5 进阶(可跳过):块为什么偏偏是 128
块越大,Q 要重复读的遍数越少,但块必须整个装进片上内存。每行占多少字节由 决定,而 不是自由参数。
按论文 base 配置 d=512、h=8、=64,fp16 下每行就是 128 字节。A100 单个计算块 164 KB,把”一块算完之前必须同时活着”的东西逐项加起来:
:多头、kvcache与flashattention_图文/图13-块大小128的来历.webp)
| 片上项 | 大小 |
|---|---|
| Q 块:128 行 × 64 维 × 2 B | 16 KB |
| K 块:128 列 × 64 维 × 2 B | 16 KB |
| V 块:128 列 × 64 维 × 2 B | 16 KB |
| S 块:128×128 × 2 B(唯一随 L² 增长的量) | 32 KB |
| acc:跨块累加的输出,fp32(4 B,不能丢精度) | 32 KB |
| m、l:每行一个 running max 和指数和 | 1 KB |
| 合计 | 113 KB / 164 KB(还剩 51 KB) |
把行数改成 256:32+16+16+64+64+2 = 194 KB > 164 KB,装不下——128 是”再大一号就爆”的那一档。
换一张卡、换一个 ,答案就变(H100 能取 256 行;LLaMA-7B 的 =128 每行字节翻倍,同样 164 KB 只装得下 64 行)。要带走的是”容量 ÷ 每行字节数”这个方法,不是 128 这个数。官方 kernel 的 BLOCK_M=128 就是这么在 A100 上标定出来的。
4.6 滑窗:另一条路,真近似
精髓句:滑窗不是加速技巧,而是承认”远处的信息这一层可以不要”——它改变的是模型能看到什么,不是怎么算。
做法很直接:每个位置只与最近 w 个位置算注意力(Mistral 7B 用 w=4096),计算与 cache 都从 L 降到 w——但这是真近似,窗口外的信息这一层确实看不见。补偿靠层间传播:一层看 4096、32 层理论上能把感受野叠到十三万左右,只是信息经多层转手,远距离的精确对齐会受损。
:多头、kvcache与flashattention_图文/图14-滑窗对比与小结.webp)
| FlashAttention | 滑窗 | |
|---|---|---|
| 与标准注意力的关系 | 精确等价 | 近似(放弃全局) |
| 省什么 | 显存峰值(O(L²)→O(L))与读写带宽 | 计算量与 cache 大小 |
| 不省什么 | FLOPs(反向重算,略增);Q 要多读 L/128 遍 | 远距离对齐的精度 |
两者不互斥:Mistral 就是”滑窗 + FlashAttention 实现”。选型逻辑一句话——要精确,省带宽;要便宜,砍范围。
五、小结:五种机制一张表
| 机制 | 缺了会怎样 | 精髓(多出了什么能力) | 代价 |
|---|---|---|---|
| 多头 | 一份权重和恒为 1,几种关系只能互相稀释 | 同一层里同时表达多种关系:h 份互不挤占的归一化,各自都能满到高权重 | 每头只剩 维;打分矩阵显存 ×h |
| Concat + W^O | 相加则坐标混叠,“谁说的”不可辨 | h 份结论各占一段,“谁说的”可辨识,融合方式由 学出来 | 融合多一次投影 |
| KV cache | 每步重算整句,推理慢到不可用 | Q/K/V 拆分让”内容”静态,于是”只算新词”成立 | 显存随 L 线性增长 |
| GQA | cache 同时吃掉并发与上下文长度 | 分工长在 Q 侧、字典可共用:显存与带宽同时降 g 倍 | 组数太少伤质量 |
| FlashAttention | L² 中间产物吃满带宽与显存峰值 | 把”贵”从算力改判为搬运,于是不牺牲精度也能快(精确等价) | Q 多读 L/Bq 遍;反向要重算 |
| 滑窗 | 全局注意力在长序列上不可负担 | 只保留最近 w 个,感受野靠层间传播折算 | 真近似,远距离对齐受损 |
如果只记三句话:
- 多头多出来的是「同一层里同时表达多种关系」的能力,靠的不是更多参数,是 h 份互不相干的归一化预算;
- KV cache 的全部依据是”因果掩码下 K/V 算过就不变”;
- GQA 省的是带宽、FlashAttention 省的是搬运与显存峰值、滑窗省的是范围——三者省的从来不是同一样东西。别把比喻当机制:加法不是拼接、掩码不是调小权重。
六、面试向易错点
:多头、kvcache与flashattention_图文/图15-面试易错点.webp)
| 面试考点 | 常见答错 | 正确答法 | 面试官在考什么 |
|---|---|---|---|
| 多头为什么比单头好? | “参数更多所以更强”/“参数一样那不就等于没改” | 能力上:同一个词在同一层里能被多种关系同时解释——每个头一份独立 softmax,一个头盯构词、一个盯句法,互不抢权重;单头一份预算、和恒为 1,只能折中。代价上:几乎不多花参数,因为 h 套投影是把一张 d×d 沿列切成 h 条(划分,不是复制),合计仍是 4d²。论文 Table 3:参数不动,24.9→25.8 BLEU | 会不会只背”多头更好”,说不出好在哪里、也没算过参数账 |
| 多头的”分工”是设计出来的吗? | “论文规定了每个头各管一件事” | 不是。分工是训练自己长出来的:可视化里能看到位置头、句法头、稀有词头,也同样存在大量不可解释的头;能确定的只是”h 份独立预算给了并存的可能” | 是否把涌现现象当成硬编码规则 |
| 多个头的输出怎么合并? | “各头结果按位相加” | Concat 沿特征维拼回 d 维再乘 ;相加会坐标混叠、丢掉”哪个头说的” | 维度账是否亲手算过 |
| KV cache 缓存什么? | “Q、K、V 都缓存” | 只缓存 K、V——因果掩码下它们一旦算出就不变;Q 每步都是新的 | 是否真理解”什么变了、什么没变” |
| GQA 省的是什么?为什么掉点不大? | “省参数、省计算” | 省 KV cache 显存(缩到 g/h)与读取带宽;掉点不大是因为多头分工主要长在 Q 侧,K/V 字典可共用 | 是否理解 decode 是 memory-bound + 分工归属 |
| FlashAttention 是近似吗? | “分块算肯定有误差”/“反正数据都要搬完,能省多少” | 精确等价:它不是把注意力算粗,而是把瓶颈从算力改判为搬运——rescale 的依据是”分子分母同乘常数商不变”,逐位还原全局 softmax。省的是不建那张 L² 的交接文件:显存峰值约 1/300,搬运量约 1/4,FLOPs 反而略增 | 是否理解”它改的是数据通路,不是数学”,能否算清搬运账 |
| 分了块,直接把各块结果相加不行吗? | “行,反正都是加权和” | 不行:各块取的指数基准不同(各自用自己的最大值),旧账必须乘 换算到同一基准再相加;直接加会让先算的块权重被高估 e^Δm 倍 | 是否理解”缩放是统一单位,不是数学斤两变换” |
| 块大小 128 是怎么定的? | “经验值/论文规定” | 由片上容量反推:Q/K/V/S/acc/统计量六项合计 113 KB,对上 A100 的 164 KB;256 行要 194 KB,溢出。换成 H100 或 =128,答案就变 | 是否会把硬件约束当常数背 |
| 滑窗注意力会丢信息吗? | “不会,信息能传过去” | 单层真丢(近似);多层靠感受野叠加补回,但远距离精确对齐受损 | 能否给”近似 vs 等价”分类 |
七、文中引用的论文
| 论文 | 本篇用在哪 |
|---|---|
| Vaswani et al., 2017, Attention Is All You Need | 多头结构、Table 3 消融(24.9→25.8 BLEU) |
| Voita et al., 2019 | 训练好的模型里的专化头可视化(位置头、句法头、稀有词头) |
| Shazeer, 2019, Fast Transformer Decoding | MQA:所有 Q 头共享一组 K/V |
| Ainslie et al., 2023, GQA | 分组共享 KV、uptraining 迁移(约 5% 训练量) |
| Dao et al., 2022, FlashAttention | 分块 + online softmax,精确等价 |
| DeepSeek-V2(MLA) | 把 KV 压进低秩潜在向量(仅提及) |
| Mistral 7B | 滑窗 w=4096,与 FlashAttention 组合 |
相关笔记
- transformer架构和自注意力机制 — 自注意力基础——本篇是它的「下半场」
- RoPE 旋转位置编码 — 位置编码,与 KV cache 同属推理侧账本
- Transformer注意力机制与推理优化全栈 — 注意力数学到推理优化全栈
- DeepSeek-MLA满秩高熵应对 — 另一条省 KV cache 显存的路线(低秩压缩)