KV Cache 瘦身三剑客:MQA / GQA / MLA 逐层拆解

本地部署大模型时,“聊着聊着就爆显存”的罪魁祸首是 KV Cache。同样跑同一个模型,有人需要 300GB,有人只要 12GB,差的正是 KV 的存储方式。本期从 MQA → GQA → MLA 逐层拆解,并以 Qwen3.8 27B 为例实际算账。


一、问题根源:KV Cache 才是爆显存的元凶

以 Llama-2 270B 为例:64 个注意力头,按教科书式标准多头注意力(MHA),50 人同时对话仅 KV Cache 就要约 300 GB,4 张顶级显卡都塞不下。但实际只需约 12.5 GB,节省近 96%,靠的不是多买显卡,而是注意力机制里的几个改动。

模型权重本身能装下,但对话一长 KV Cache 暴涨,torch.cuda.OutOfMemoryError 便随之而来。

一个 token 的 KV Cache 字节数公式(BF16 精度)

Bytes = 2 × 2 × L × n_kv_heads × d_head

其中 2 为 BF16 字节数,2 为 K+V 两份,L 为层数,n_kv_heads 为 KV 头数,d_head 为头维度。

  • 层数和头维度基本由模型规模决定,不能动
  • 精度换成 FP8 能再砍半(属量化范畴,另行讨论)
  • 真正可优化的变量是 KV 头数

二、为什么只省 K、V,不省 Q?

MHA 中每个头各有一套 Q/K/V。但 Q 每次计算完即丢弃,几乎不占缓存。K 和 V 必须常驻缓存,随上下文增长而线性膨胀——这才是该省的对象。


三、MQA:多查询注意力(Multi-Query Attention)

  • 提出者:Noam Shazeer(《Attention Is All You Need》八位作者之一),2019 年论文 Fast Transformer Decoding: One Write-Head Is All You Need
  • 做法:64 个 Q 头不变,K 和 V 只留 1 份,所有头共用

Llama-270B 示例(BF16,80 层,head_dim=128)

方案每 token KV Cache
MHA(64 份 KV)≈ 2.5 MB
MQA(1 份 KV)≈ 40 KB(缩 64 倍)
  • 50 人各 4000+ token 的对话:从 ~10 GB 降至 ~8 GB

原理与代价

  • 原理:每个头的 Q 不同,对同一份 K 做点积得到不同的注意力分数,从 V 中取出不同结果,因此表达能力并未完全丧失
  • 代价:原来 64 个头可用 64 种方式整理信息,现在只剩一种,效果会打折扣;且训练稳定性也略差

四、GQA:分组查询注意力(Grouped-Query Attention)

  • 提出:Google,EMNLP 2023,论文 GQA: Training Generalized Multi-Query Transformers from Multi-Head Checkpoints
  • 核心思路:不把 KV 压到 1 份,而是分成若干组,同组内多头共用一份 KV

Llama-270B 示例

  • 64 个 Q 头 ÷ 8 组 = 每组 8 头共用 1 份 KV
  • 每 token:从 2.5 MB 降至约 0.31 MB
  • 128,000 token 超长上下文:从 320 GB 降至约 40 GB(一张 80 GB 卡即可放下)

GQA 把 MHA 和 MQA 串成一条连续谱系

KV 组数 g 可调:

g 值对应方案
g = 64标准 MHA(每头独占)
g = 8GQA(本例)
g = 1MQA(全部共享)

实测结论:分 8 组时效果已接近 MHA,速度却接近 MQA。

工程优势

多卡并行时,每张卡负责若干 Q 头,各组 KV 分配给不同卡,干净不冗余。

代码视角(MiniMind 开源项目)

def repeat_kv(x, n_rep):
    # bs, slen, num_kv_heads, head_dim
    # 把每份 KV 临时复制给组内 n_rep 个头用
    return x[..., None, :].expand(...).reshape(...)
  • 缓存里只存 8 份 KV(常驻);计算时临时展开为 64 份(用完即释放)
  • FlashAttention 等优化算子可直接在片上 SRAM 内轮流读取同一份 KV,连这份草稿都不必真实复制

GQA 没有减少计算量,省的是两样东西:① 存下来的字节数;② 每一步要从显存搬出的字节数。推理阶段瓶颈往往是带宽而非算力,KV 小了,搬运少了,生成自然更快。


五、Qwen3.8 27B 实际算账(GQA + 线性注意力)

阿里 2026 年 8 月开源,270 亿参数,智能体任务表现匹敌顶级闭源模型;FP8 量化后一张 24 GB 游戏卡即可运行。

架构亮点:64 层中只有 16 层使用完整注意力,其余 48 层使用线性注意力(只维护固定大小状态,不需要传统 KV Cache)。

16 层完整注意力配置(GQA)

  • 24 个 Q 头,4 个 KV 头(每 6 头共享 1 份 KV)
  • head_dim = 256
每 token 每层 KV Cache(BF16):
2 × 2 × 16 × 4 × 256 = 65,536 B ≈ 64 KB/token

方案对比

方案每 token 开销相对 MHA 比例
全 MHA(64 层 × 24 头)~1.5 MB1×
全 GQA(16 层 × 4 KV 头)~64 KB1/6
混合(16 层 GQA + 48 层线性)~64 KB1/24

若用 FP8 存 KV(32 KB/token),一张 48 GB 卡可并发支撑 十几至二十段 3 万 token 的长对话。

vLLM 部署建议

vllm serve /models/qwen3.8-27b-fp8 \
  --kv-cache-dtype fp8 \
  --max-model-len 32768
  • 设置①:KV Cache 精度设为 fp8(每 token 32 KB,容量翻倍)
  • 设置②:--max-model-len 按业务实际需要设定,勿盲目开满

六、MLA:多头潜在注意力(Multi-head Latent Attention)

DeepSeek-V2 提出,DeepSeek-V3 / R1、Kimi K2 沿用。

思路转变

不再”共享”,而是”压缩着存”。

原理

每个 token 的隐藏向量(512 维)通过压缩矩阵映射为潜变量 C(512 维),缓存里只存这个 C。生成 K/V 时用展开矩阵还原:

  • K = W_K · C,故 Q · K = Q · W_K · C
  • 利用结合律:先算 Q · W_K,再与 C 做内积 —— K 永远不必真的展开(矩阵吸收技巧)
  • V 侧同理,展开矩阵吸收到最终输出投影中

RoPE 的位置旋转夹在 Q 和 K 之间,打破了上述合并。DeepSeek 的处理:将位置信息单独提取为一个 64 维小向量,所有头共用。

存储量对比

方案每 token 每层存储
MLA512 + 64 = 576 个数
同规格 MHA(128 头 × 128 维)约 32,000 个数(约 57 倍)
  • DeepSeek 论文:相对其上一代 67B 模型,KV Cache 减少 93.3%
  • 实验显示 MLA 效果甚至略优于标准 MHA

七、三法串联总结

方法KV 头数策略存储效果备注
MHA每头独立基准最优显存杀手
MQA全头共享 1 份极少有折扣最早方案
GQA分组共享(可调档)中等接近 MHA当前开源标配
MLA压缩存潜向量极少不降甚至提升DeepSeek 路线
线性注意力(如 Qwen3.8 大部分层)无传统 KV Cache恒定需视实现而定从根本上消除增长
  • 共享(MQA/GQA/MLA)≠ 减少计算量,节省的是显存占用和内存带宽,从而加速生成
  • 线上服务还涉及 KV Cache 的内存碎片管理问题(VLLM 的 PagedAttention 等),留待后续专题

核心金句

  1. KV Cache 才是爆显存的元凶——模型权重能装下,但对话一长 KV Cache 暴涨,OOM 便随之而来。
  2. Q 计算完即丢弃,K/V 必须常驻缓存——所以只省 K、V,不省 Q。
  3. GQA 把 MHA 和 MQA 串成一条连续谱系——组数 g 在 1~64 间可调,兼顾效果与速度。
  4. MLA 的思路不是”共享”,而是”压缩着存”——K 永远不必真的展开,576 个数对比 32,000 个数,降幅约 57 倍。
  5. 共享方案 ≠ 减少计算量——节省的是显存占用和内存带宽,推理瓶颈往往是带宽而非算力。

相关笔记