KV Cache 瘦身三剑客:MQA / GQA / MLA 逐层拆解
本地部署大模型时,“聊着聊着就爆显存”的罪魁祸首是 KV Cache。同样跑同一个模型,有人需要 300GB,有人只要 12GB,差的正是 KV 的存储方式。本期从 MQA → GQA → MLA 逐层拆解,并以 Qwen3.8 27B 为例实际算账。
一、问题根源:KV Cache 才是爆显存的元凶
以 Llama-2 270B 为例:64 个注意力头,按教科书式标准多头注意力(MHA),50 人同时对话仅 KV Cache 就要约 300 GB,4 张顶级显卡都塞不下。但实际只需约 12.5 GB,节省近 96%,靠的不是多买显卡,而是注意力机制里的几个改动。
模型权重本身能装下,但对话一长 KV Cache 暴涨,torch.cuda.OutOfMemoryError 便随之而来。
一个 token 的 KV Cache 字节数公式(BF16 精度)
Bytes = 2 × 2 × L × n_kv_heads × d_head
其中 2 为 BF16 字节数,2 为 K+V 两份,L 为层数,n_kv_heads 为 KV 头数,d_head 为头维度。
- 层数和头维度基本由模型规模决定,不能动
- 精度换成 FP8 能再砍半(属量化范畴,另行讨论)
- 真正可优化的变量是 KV 头数
二、为什么只省 K、V,不省 Q?
MHA 中每个头各有一套 Q/K/V。但 Q 每次计算完即丢弃,几乎不占缓存。K 和 V 必须常驻缓存,随上下文增长而线性膨胀——这才是该省的对象。
三、MQA:多查询注意力(Multi-Query Attention)
- 提出者:Noam Shazeer(《Attention Is All You Need》八位作者之一),2019 年论文 Fast Transformer Decoding: One Write-Head Is All You Need
- 做法:64 个 Q 头不变,K 和 V 只留 1 份,所有头共用
Llama-270B 示例(BF16,80 层,head_dim=128)
| 方案 | 每 token KV Cache |
|---|---|
| MHA(64 份 KV) | ≈ 2.5 MB |
| MQA(1 份 KV) | ≈ 40 KB(缩 64 倍) |
- 50 人各 4000+ token 的对话:从 ~10 GB 降至 ~8 GB
原理与代价
- 原理:每个头的 Q 不同,对同一份 K 做点积得到不同的注意力分数,从 V 中取出不同结果,因此表达能力并未完全丧失
- 代价:原来 64 个头可用 64 种方式整理信息,现在只剩一种,效果会打折扣;且训练稳定性也略差
四、GQA:分组查询注意力(Grouped-Query Attention)
- 提出:Google,EMNLP 2023,论文 GQA: Training Generalized Multi-Query Transformers from Multi-Head Checkpoints
- 核心思路:不把 KV 压到 1 份,而是分成若干组,同组内多头共用一份 KV
Llama-270B 示例
- 64 个 Q 头 ÷ 8 组 = 每组 8 头共用 1 份 KV
- 每 token:从 2.5 MB 降至约 0.31 MB
- 128,000 token 超长上下文:从 320 GB 降至约 40 GB(一张 80 GB 卡即可放下)
GQA 把 MHA 和 MQA 串成一条连续谱系
KV 组数 g 可调:
| g 值 | 对应方案 |
|---|---|
g = 64 | 标准 MHA(每头独占) |
g = 8 | GQA(本例) |
g = 1 | MQA(全部共享) |
实测结论:分 8 组时效果已接近 MHA,速度却接近 MQA。
工程优势
多卡并行时,每张卡负责若干 Q 头,各组 KV 分配给不同卡,干净不冗余。
代码视角(MiniMind 开源项目)
def repeat_kv(x, n_rep):
# bs, slen, num_kv_heads, head_dim
# 把每份 KV 临时复制给组内 n_rep 个头用
return x[..., None, :].expand(...).reshape(...)- 缓存里只存 8 份 KV(常驻);计算时临时展开为 64 份(用完即释放)
- FlashAttention 等优化算子可直接在片上 SRAM 内轮流读取同一份 KV,连这份草稿都不必真实复制
GQA 没有减少计算量,省的是两样东西:① 存下来的字节数;② 每一步要从显存搬出的字节数。推理阶段瓶颈往往是带宽而非算力,KV 小了,搬运少了,生成自然更快。
五、Qwen3.8 27B 实际算账(GQA + 线性注意力)
阿里 2026 年 8 月开源,270 亿参数,智能体任务表现匹敌顶级闭源模型;FP8 量化后一张 24 GB 游戏卡即可运行。
架构亮点:64 层中只有 16 层使用完整注意力,其余 48 层使用线性注意力(只维护固定大小状态,不需要传统 KV Cache)。
16 层完整注意力配置(GQA)
- 24 个 Q 头,4 个 KV 头(每 6 头共享 1 份 KV)
- head_dim = 256
每 token 每层 KV Cache(BF16):
2 × 2 × 16 × 4 × 256 = 65,536 B ≈ 64 KB/token
方案对比
| 方案 | 每 token 开销 | 相对 MHA 比例 |
|---|---|---|
| 全 MHA(64 层 × 24 头) | ~1.5 MB | 1× |
| 全 GQA(16 层 × 4 KV 头) | ~64 KB | 1/6 |
| 混合(16 层 GQA + 48 层线性) | ~64 KB | 1/24 |
若用 FP8 存 KV(32 KB/token),一张 48 GB 卡可并发支撑 十几至二十段 3 万 token 的长对话。
vLLM 部署建议
vllm serve /models/qwen3.8-27b-fp8 \
--kv-cache-dtype fp8 \
--max-model-len 32768- 设置①:KV Cache 精度设为
fp8(每 token 32 KB,容量翻倍) - 设置②:
--max-model-len按业务实际需要设定,勿盲目开满
六、MLA:多头潜在注意力(Multi-head Latent Attention)
DeepSeek-V2 提出,DeepSeek-V3 / R1、Kimi K2 沿用。
思路转变
不再”共享”,而是”压缩着存”。
原理
每个 token 的隐藏向量(512 维)通过压缩矩阵映射为潜变量 C(512 维),缓存里只存这个 C。生成 K/V 时用展开矩阵还原:
K = W_K · C,故Q · K = Q · W_K · C- 利用结合律:先算
Q · W_K,再与 C 做内积 —— K 永远不必真的展开(矩阵吸收技巧) - V 侧同理,展开矩阵吸收到最终输出投影中
RoPE 的位置旋转夹在 Q 和 K 之间,打破了上述合并。DeepSeek 的处理:将位置信息单独提取为一个 64 维小向量,所有头共用。
存储量对比
| 方案 | 每 token 每层存储 |
|---|---|
| MLA | 512 + 64 = 576 个数 |
| 同规格 MHA(128 头 × 128 维) | 约 32,000 个数(约 57 倍) |
- DeepSeek 论文:相对其上一代 67B 模型,KV Cache 减少 93.3%
- 实验显示 MLA 效果甚至略优于标准 MHA
七、三法串联总结
| 方法 | KV 头数策略 | 存储 | 效果 | 备注 |
|---|---|---|---|---|
| MHA | 每头独立 | 基准 | 最优 | 显存杀手 |
| MQA | 全头共享 1 份 | 极少 | 有折扣 | 最早方案 |
| GQA | 分组共享(可调档) | 中等 | 接近 MHA | 当前开源标配 |
| MLA | 压缩存潜向量 | 极少 | 不降甚至提升 | DeepSeek 路线 |
| 线性注意力(如 Qwen3.8 大部分层) | 无传统 KV Cache | 恒定 | 需视实现而定 | 从根本上消除增长 |
- 共享(MQA/GQA/MLA)≠ 减少计算量,节省的是显存占用和内存带宽,从而加速生成
- 线上服务还涉及 KV Cache 的内存碎片管理问题(VLLM 的 PagedAttention 等),留待后续专题
核心金句
- KV Cache 才是爆显存的元凶——模型权重能装下,但对话一长 KV Cache 暴涨,OOM 便随之而来。
- Q 计算完即丢弃,K/V 必须常驻缓存——所以只省 K、V,不省 Q。
- GQA 把 MHA 和 MQA 串成一条连续谱系——组数
g在 1~64 间可调,兼顾效果与速度。 - MLA 的思路不是”共享”,而是”压缩着存”——K 永远不必真的展开,576 个数对比 32,000 个数,降幅约 57 倍。
- 共享方案 ≠ 减少计算量——节省的是显存占用和内存带宽,推理瓶颈往往是带宽而非算力。
相关笔记
- 04 注意力机制(下):多头、KVcache 与 FlashAttention — KV Cache 两张账单与 FlashAttention
- DeepSeek-MLA满秩高熵应对 — MLA 的秩/熵视角
- 8GB显存运行27B模型部署优化指南 — 低显存部署实战