LLM 推理优化完整知识梳理
来源:DeepSeek 问答对话 + 知乎文章整理
涵盖:推理框架的本质问题 · SGLang vs vLLM 全面对比 · FlashAttention 原理深析 · 模型压缩与系统优化 · 未来趋势
目录
- 一、推理框架在解决什么问题
- 二、vLLM:以显存利用率为核心
- 三、SGLang:以前缀复用和多步骤任务为核心
- 四、两者的直觉类比
- 五、核心差异对照表
- 六、共同采用的优化:连续批处理
- 七、FlashAttention:解决内存带宽墙
- 八、模型压缩:量化
- 九、系统调度优化
- 十、尚未完全解决的问题
- 十一、选型决策指南
- 十二、概念速查表
一、推理框架在解决什么问题
大模型生成文字是逐 token 串行的过程:每蹦出一个字,都要把整个模型过一遍,把前面所有 token 的记录(KV Cache)读出来,算完,才能决定下一个字。
同时服务大量用户时,核心挑战是:
- 显存压力大:每个用户的 KV Cache 都要占显存
- 资源分配难:用户请求长短不一,如何不浪费、不让人等太久
- 吞吐与延迟:高并发下如何同时保证速度和资源利用率
推理框架就是为了系统性地解决这些问题。
二、vLLM:以显存利用率为核心
2.1 它解决的问题
早期推理框架对每个用户请求预先分配固定大小的连续显存存放 KV Cache。
问题在于:用户最终生成多少 token 事先未知。分少了不够用,分多了大量空置却不能给别人用,实际利用率有时不到 40%。
2.2 核心方案:PagedAttention
借鉴操作系统的虚拟内存思想:
- 把显存切成固定大小的物理块(默认
block_size = 16,可配置为 8/32/64) - 每个用户按需分配块,块可散落在显存各处(非连续存储)
- 用
block_table记录每个用户的逻辑块映射到哪个物理块 - 用完的块立刻归还,马上可供其他请求使用
效果:显存利用率从 <40% 提升到 85%~92%,同等显存下可服务的并发用户数大幅增加。
2.3 两级查表定位任意 token
查找第 35 个 token(block_size=16):
① 逻辑块号 = 35 // 16 = 2
② 查 block_table[2] → 得物理块号(如 #7)
③ 块内偏移 = 35 % 16 = 3
④ 最终地址 = 物理块 #7 起始地址 + 3 × 隐藏维度
O(1) 查找开销,但需要两次间接寻址。
2.4 前缀缓存的限制
- 复用的最小单位是整个物理块
- 两个请求共享某块,该块内所有 token 必须完全相同才能复用
- 共享前缀长度若不是 block_size 的整数倍,最后一个不完整块无法复用
- 没有主动搜索最长公共前缀的机制,靠”碰巧命中”——相同系统提示恰好完整占满整块时才复用
例(block_size=4):
请求1:[A, B, C, D, E, F ...]
请求2:[A, B, C, X, Y, Z ...]
共享了 A, B, C 三个 token,但第4个不同。
逻辑块0 = [A, B, C, D],块内有不匹配的 D,整块不能复用。
→ 请求2 必须从头重新计算 A, B, C 的 KV。
这是设计取舍:牺牲复用灵活性,换取调度简单、吞吐极高。
三、SGLang:以前缀复用和多步骤任务为核心
3.1 它解决的问题
vLLM 主要面向独立的一问一答请求。但现实中存在大量”重复计算”场景:
- Agent 任务:完成一个复杂任务需要多次调用模型,每次根据上次结果决定下一步
- 共享系统提示:一批用户请求都以相同的长系统提示词开头,重复计算完全一样的内容
- 多轮对话:历史对话前缀在不同请求间重复出现
SGLang 的核心目标:让重复的部分只算一次,后续直接复用。
3.2 核心方案:RadixAttention
用基数树(Radix Tree)管理 KV Cache:
- 不同请求的 KV 缓存按 token 序列组织成一棵树
- 新请求到来,从根节点逐 token 向下匹配,直到走不通(分叉)
- 匹配到的前缀部分直接复用,分叉点之后重新计算,挂为新节点
已有缓存(请求1):A → B → C → D
新请求(请求2) :A → B → C → E
匹配过程:A ✓ → B ✓ → C ✓ → E ✗(分叉)
结果:复用 A、B、C 的 KV,只计算 E
任意长度的公共前缀都能复用,哪怕只有 1 个 token。
3.3 逻辑节点与物理块的分离
底层显存仍按物理块分配(GPU 硬件限制),但 SGLang 加了一层间接映射:
- 逻辑节点可以只包含 1 个 token(树上的任意粒度)
- 通过”虚拟块 → 物理块 + 偏移”的间接层,实现借用物理块中的部分位置
- 请求2 复用
[A, B]时,只映射到物理块 #100 的前两个位置,不碰后两个
对比:
vLLM → 逻辑块与物理块 1:1 映射,共享粒度 = 整个物理块
SGLang → 逻辑块与物理块 N:1 映射(可部分映射),共享粒度 = 单个 token
代价:逻辑层更复杂,调度开销略高
收益:缓存命中率大幅提升,尤其在 RAG、多轮对话、长系统提示场景
3.4 其他优势
结构化输出支持:在每步选 token 时,直接排除不符合格式要求的选项(如 JSON 约束),保证输出格式正确,且比”生成后校验重试”快得多。
多步骤任务的描述语言:内置一套程序描述方式,可以把”先问这个,根据回答再决定问那个,合并结果”这类复杂逻辑写成程序,SGLang 自动优化每一步效率。
四、两者的直觉类比
| 类比对象 | 含义 |
|---|---|
| SGLang = 过目不忘的图书管理员 | 把常用的书(公共前缀)放固定位置,任何人来找都能立刻取到 |
| vLLM = 高效物流仓库 | 把包裹(KV 块)塞进每一个空隙,空间利用率极高,但找东西时要多翻一次地址表 |
五、核心差异对照表
| 维度 | vLLM(PagedAttention) | SGLang(RadixAttention) |
|---|---|---|
| 解决的核心问题 | 显存碎片与利用率 | 重复前缀的计算浪费 |
| 缓存结构 | 固定大小物理块 + block_table | 基数树 + 逻辑/物理分离 |
| 复用粒度 | 整个物理块 | 单个 token |
| 匹配方式 | 被动命中(整块相同才复用) | 主动检索最长公共前缀 |
| 前缀对齐要求 | 必须是 block_size 整数倍 | 无要求,任意长度均可 |
| 显存利用率 | 85%~92%(极高) | 略低(有间接映射开销) |
| 结构化输出 | 需配合外部工具 | 原生支持约束解码 |
| 多步骤任务 | 不擅长 | 原生设计支持 |
| 模型兼容性 | 更广,生态更成熟 | 主流模型均支持,冷门模型覆盖略少 |
| 适合场景 | 高并发独立请求 | RAG、Agent、多轮对话、长系统提示 |
六、共同采用的优化:连续批处理
旧框架用静态批处理——等凑够一批,打包处理,短任务提前结束也要等所有任务完成,GPU 大量空转。
vLLM 和 SGLang 都支持连续批处理(Continuous Batching):哪个请求做完了,马上填入新请求,GPU 始终在工作,不等人。
6.1 为什么能”随时填入”——两阶段结构是关键
大模型推理分为两个计算特点截然不同的阶段:
- Prefill(预填充):处理用户输入的 prompt,一次并行算完所有输入 token 的 KV。计算量大,但只做一次。
- Decode(解码):逐个 token 生成输出。每一步只生成一个 token,然后进入下一步。
连续批处理利用的正是 Decode 阶段是一步一步走的 这个特点——每个 decode step 结束后,调度器都有一次介入的机会。
6.2 每个 Step 之间的调度窗口
Step 1:对当前 batch 里所有请求,各生成一个 token
→ 检查:哪些请求生成完了(遇到结束符)?
→ 把这些请求移出 batch,释放显存
→ 把等待队列里的新请求填进来(做一次 prefill)
Step 2:对新的 batch,再各生成一个 token
→ 继续检查 ...
“实时填入”的粒度不是任意时间点,而是每个 decode step 之间的间隙,大约几毫秒一次。对用户感知来说已经是连续的。
6.3 与静态批处理的本质区别
静态批处理:batch 成员固定,所有人一起开始、一起结束
[A A A A A A]
[B B B B B B] ← A 完成了,但位置空着,等 B、C 结束
[C C C C C C C C]
连续批处理:batch 成员动态替换,始终满载
[A A A A A A | B B B B B B | C C ...]
↑ ↑
A 完成,D 填入 B 完成,E 填入
新请求进来时需要先做一次 prefill(处理它的 prompt),这一步会短暂打断正在进行的 decode。Prefill 太频繁会影响已有请求的延迟,所以实际实现里会做批量 prefill、优先级控制等调度策略——这也是 PD 分离(见第九章)要解决的问题之一。
七、FlashAttention:解决内存带宽墙
7.1 什么是内存墙
GPU 算力增长远快于显存带宽增长,数据搬运成为瓶颈:
| 存储层级 | 读写速度 | 容量 |
|---|---|---|
| SRAM(GPU 片上缓存) | ~19 TB/s | 几十 MB |
| HBM(高带宽显存) | ~1.5 TB/s | 几十 GB |
标准 Attention 频繁读写 HBM,瓶颈不在算力,在带宽。
7.2 标准 Attention 的问题
Q, K, V 从 HBM 读入
→ 计算 S = Q·Kᵀ → 写回 HBM(S 尺寸:seq_len²,极大)
→ 从 HBM 读 S → 计算 P = softmax(S) → 写回 HBM
→ 从 HBM 读 P,V → 计算 O = P·V → 写回 HBM
问题:S 和 P 都是 seq_len × seq_len 的大矩阵,
频繁读写 HBM,带宽严重浪费。
7.3 核心技巧一:分块计算(Tiling)
把 Q、K、V 切成小块,让计算在 SRAM 内完成,计算完立即丢弃中间结果:
外循环:逐块加载 Kⱼ, Vⱼ 到 SRAM
内循环:逐块加载 Qᵢ 到 SRAM
在 SRAM 内计算局部 S = Qᵢ · Kⱼᵀ(如 64×64,SRAM 装得下)
立即在 SRAM 内做局部 softmax + 加权
把局部贡献累加到 HBM 中的 O(写回一次)
↓ 局部 S 丢弃,SRAM 清空,处理下一块
SRAM 始终只存极小的一块中间矩阵(几十到几百 KB),永远不会溢出。
7.4 核心技巧二:在线归一化(Online Softmax)
难题:Softmax 需要全局最大值和全局总和,分块时看不到全局数据,怎么算?
解法:只维护两个标量,边处理边修正:
m_max:截至当前,所有已处理块中的全局最大值d_sum:截至当前,基于m_max校正过的全局分母总和
每来一个新块,若新块的最大值超过旧的 m_max:
校正因子 = e^(m_old - m_new)
已有的输出 O ← O × 校正因子 (修正旧结果)
d_sum ← d_sum × 校正因子 + sum_new (更新分母)
m_max ← m_new
所有块处理完后,O / d_sum 即为正确的 Softmax 输出。
精髓:抛弃完整中间矩阵,只用两个标量维持全局状态,流式得出精确结果。
7.5 O 是什么(Attention 输出)
O = softmax(QKᵀ / √d) · V,形状与 Q 相同:[batch, seq_len, head_dim]
在 FlashAttention 中,O 扮演累加器角色:
- 存放在 HBM 中(尺寸大,需要跨分块持续累加)
- 每处理一个新块,从 HBM 读出 O,乘以校正因子,加上新贡献,写回 HBM
- 最终 O 就是完整正确的 Attention 结果
7.6 各张量存储位置汇总
| 张量 | 存放位置 | 说明 |
|---|---|---|
| Q, K, V | HBM(持久) | 输入,尺寸大 |
| O | HBM(持久,作为累加器) | 最终输出,跨分块累加 |
| 中间矩阵 S = QKᵀ | ❌ 不持久存储 | SRAM 临时计算后立即丢弃 |
| 中间矩阵 P = softmax(S) | ❌ 不持久存储 | 同上 |
| 当前局部 S 块 | SRAM(临时) | 如 128×128,计算后即丢 |
m_max, d_sum | SRAM(两个标量) | Online Softmax 全局状态 |
7.7 效果与本质
- 超长序列显存占用降低 5 倍以上,速度提升 3 倍以上
- 结果与标准 Attention 完全等价,无精度损失(只是换了计算顺序)
- 本质:用少量重复计算(校正因子)换取大量 HBM 带宽节省
- vLLM 和 SGLang 都使用 FlashAttention 计算注意力
八、模型压缩:量化
推理优化的另一个层面——把模型本身压小。
8.1 为什么量化能提速
大模型推理的瓶颈是从显存读取数据的速度,不是计算速度本身。量化减少了参数占用的 bit 数,从显存读取的数据量变少,速度自然提升。
8.2 INT8 量化:LLM.int8()
- 把参数从 FP16(16 bit)压缩到 INT8(8 bit)
- 问题:模型中少数参数值特别大(称为 outlier),会把量化范围拉得很宽,导致普通参数精度大幅下降
- 解法:混合精度——含 outlier 的维度保持高精度,其他维度用 INT8
- 效果:INT8 精度下基本保住模型效果
8.3 INT4 量化:GPTQ / AWQ
更激进的压缩,每个参数只用 4 bit。
AWQ 的核心思路:不是所有权重对效果的影响一样大。对应激活值较大的权重更重要,量化时重点保护这些权重,可在更低精度下维持更好效果。
九、系统调度优化
9.1 请求排队策略
不是随机排队。例如优先处理剩余生成长度短的请求,可以更快释放显存,让新请求进来,整体吞吐更高。
9.2 PD 分离(Prefill-Decode 分离)
生成过程分两阶段,计算特点完全不同:
- 预填充(Prefill):处理输入 prompt,一次并行计算所有输入 token 的 KV
- 解码(Decode):逐 token 生成输出,串行,每步计算量小但频繁
PD 分离:把两个阶段分配给不同的 GPU,各自使用最适合自己计算模式的优化策略。SGLang 在这个方向有相关工作,vLLM 也在跟进。
9.3 推测性解码(Speculative Decoding)
- 用一个小模型先快速猜几个 token
- 再用大模型一次性验证所有猜测
- 猜对的直接用,猜错的丢掉重算
- 理论上显著提速,但工程复杂度高,小模型质量影响大,尚未完全成熟
十、尚未完全解决的问题
| 问题 | 现状 |
|---|---|
| 超长上下文 | 百万 token 级别的上下文显存需求巨大,稀疏注意力(只关注最相关部分)是一个方向,但判断哪些相关本身有代价 |
| 多机多卡通信 | 跨机器的数据交换开销有时会抵消计算速度的提升,是持续的工程问题 |
| 推测性解码通用化 | 原理很好,但小模型维护、质量保证、集成复杂度都还有距离 |
| 推理时计算(Test-time Compute) | o1 系列模型在回答前生成长段内部思考,对框架的调度提出全新要求 |
| 多模态推理 | 图片/视频数据量远大于文字,现有框架的优化策略需要大幅调整 |
十一、选型决策指南
场景一:高并发、独立的一问一答(吞吐优先)
→ vLLM
原因:PagedAttention 显存利用率高,调度简单,生态成熟
场景二:RAG / 多轮对话 / Agent(有大量重复前缀,延迟优先)
→ SGLang
原因:RadixAttention 命中率更高,重复前缀只算一次
场景三:需要严格结构化输出(JSON 等格式)
→ SGLang
原因:原生约束解码支持,无需额外工具
场景四:不确定用哪个
→ 先用 vLLM,踩坑成本低,生态更成熟
等真正遇到它解决不好的问题再考虑切换
场景五:边缘侧/移动端部署
→ llama.cpp / MLC LLM / CoreML
vLLM 和 SGLang 均不适用于此场景
十二、概念速查表
| 概念 | 一句话解释 |
|---|---|
| KV Cache | 缓存每个 token 的 Key/Value,避免每步重新计算历史内容 |
| PagedAttention | vLLM 核心:固定大小物理块 + 两级查表,解决显存碎片 |
| RadixAttention | SGLang 核心:基数树管理 KV Cache,实现最长前缀匹配复用 |
| 连续批处理 | 请求完成立即填入新请求,GPU 不空转,vLLM/SGLang 均支持 |
| 内存墙(带宽墙) | GPU 算力增长 >> 显存带宽增长,搬运数据成为推理瓶颈 |
| FlashAttention | 分块计算 + Online Softmax,消除中间大矩阵的 HBM 读写 |
| Tiling | FlashAttention 的分块策略,让 SRAM 只存小块中间矩阵 |
| Online Softmax | 用两个标量(m_max, d_sum)流式计算 Softmax,无需全局数据 |
| O(输出) | Attention 最终结果,FlashAttention 中作为 HBM 累加器 |
| HBM | GPU 主显存,容量大但带宽慢(~1.5 TB/s) |
| SRAM | GPU 片上缓存,容量极小但速度极快(~19 TB/s) |
| 量化 | 降低参数精度(FP16→INT8/INT4),减少显存占用和读取带宽 |
| Outlier | 模型中少数值极大的参数,是 INT8 量化精度损失的主要来源 |
| PD 分离 | Prefill 和 Decode 两阶段分配到不同 GPU,各自优化 |
| 推测性解码 | 小模型猜 token,大模型批量验证,理论加速但工程复杂 |
| Test-time Compute | 推理时投入更多计算让模型”想更久”,换取更高质量答案 |