大语言模型算法演进综述
来源
朱炫鹏, 姚海东, 刘隽, 等. 大语言模型算法演进综述 [J]. 中兴通讯技术, 2024, 30(2): 9-20. DOI: 10.12142/ZTETJ.202402003
原 PDF:00_附件/PDF/LLM算法演进.pdf
一句话概括
LLM 的架构与算法演进分为两条技术路线:①提高推理效率(分布式推理、计算优化、访存优化、量化);②提高模型能力(引入 MoE 混合专家、SSM 状态空间模型等新架构)。
1. 语言模型发展历程(4 阶段)
| 阶段 | 特点 | 代表 |
|---|---|---|
| 统计语言模型 | 根据语料统计词频概率取词 | — |
| 神经语言模型 | 引入神经网络;RNN 因梯度消失/爆炸只保留短期信息 | RNN、LSTM |
| 预训练语言模型 | 预训练 + 下游微调范式 | ELMo、BERT |
| 大语言模型 | 规模超阈值产生涌现能力(上下文学习、思维链) | GPT-3、GPT-4 |
预训练模型性能随规模增大呈幂律关系;GPT 超越幂律出现涌现现象。
2. Transformer 架构核心
2.1 注意力机制
- 针对文本序列计算每个 token 与其他 token 的相关系数;基于 QKV(查询-键-值)计算
- 公式:
Attention(Q,K,V) = Softmax(QKᵀ / √Dₖ) · V - 优势:可并行计算任意距离 tokens 间的信息(优于 RNN/LSTM)
2.2 多头注意力(MHA)
- 把 QKV 分成多份,每份独立算注意力再合并 → 增加信息容量
- 3 种形式:自注意力(Q=K=V=X)、掩码自注意力(禁止未来 token)、交叉注意力(Q 来自解码器,K/V 来自编码器)
2.3 前馈网 FFN
- 两个全连接层:特征维度 Dm → Df(扩大)→ Dm(恢复)
2.4 残差连接 + 归一化
- 防止梯度消失、稳定数值,使深层网络前向/反向稳定
2.5 位置编码
- Transformer 一次输入全部 tokens,需加位置编码表示先后关系(不像 RNN 靠顺序)
2.6 整体结构(编码器 + 解码器)
- 编码器:多头自注意力 + 前馈网
- 解码器:掩码自注意力 + 交叉注意力 + 前馈网
- 按功能选组合:翻译用完整结构;BERT 用编码器(分类/序列标记);GPT 用解码器(序列生成)
2.7 ChatGPT 系列演进
| 模型 | 年份 | 关键创新 | 序列长度 | 参数量 |
|---|---|---|---|---|
| GPT-1 | 2018 | 解码器单向 LM,无监督预训练+微调 | 512 | 1.17×10⁸ |
| GPT-2 | 2019 | 多任务预训练、取消微调、LayerNorm 前移 | 1024 | 1.5×10⁹ |
| GPT-3 | 2020 | 上下文学习、少样本/单/零样本 | 2048 | 1.75×10¹¹ |
| ChatGPT(GPT-3.5) | 2022 | RLHF、PPO | 4096 | >1.75×10¹¹ |
| GPT-4 | 2023 | 引入 MoE、多模态 | 8000 | >1×10¹² |
模型架构始终是 Transformer Decoder,但具体模块在调整(LayerNorm 位置、MoE 层),参数量从 1.17×10⁸ 增至 1×10¹² 以上,量变引起质变。
3. 提高推理效率
3.1 LLM 计算特性(瓶颈)
- 模型规模大:GPT-3 参数 1750 亿,INT8 下约 175 GB,生成一个 token 需 3240 亿次计算;A100(80GB) 装不下 → 必须分布式
- 计算强度低:算术强度 = FLOPs/MOPs(计算量/访存量)。GPT 系列算术强度只有 2(Bert 数百),算力大量浪费在等数据;Batch 增大可提升算术强度
- 非线性层效率低:Softmax / LayerNorm 需多次遍历数据、长距离共享 → 访存密集,算子难融合
3.2 四大优化方法
① 分布式推理
- Tensor 并行(节点内):每层计算/存储均分到多 GPU → 降延时,但增加 GPU 间通信
- Pipeline 并行(节点间):不同层分到不同节点 → 不减总延时,只减节点存储
② 计算优化
- KV Cache:每次只生成一个 token,把历史 Key/Value 缓存下来复用,避免重复计算;但显存占用大(GPT-3 约 164GB,约为参数的 1/2),引发”内存墙”
- MQA(多查询注意力):Q 保持多头,K/V 仅一个头共享 → 吞吐提升 30%–40%,性能损失小
- GQA(分组查询注意力):MHA 与 MQA 的折衷,Q 头分组共享 K/V
- 推测解码(2023 新兴):小模型先”推测”几个 token,大模型并行验证 → 提并行度、降延时
- 精简 Transformer:去掉残差/Value/投影/LayerNorm 等,吞吐 +15%、参数 −15%
③ 访存优化
- FlashAttention:分块计算 Softmax + 核函数融合 → 速度提升 7.6 倍
- Flash-Decoding:并行化维度扩展到 KV 序列长度,离线统计最大值 Φ
- PagedAttention:仿操作系统分页,允许 KV Cache 存于非连续内存,支持内存共享(多序列共享提示 KV),减少 60%–80% 显存浪费
④ 量化
- 阶段分类:QAT(训练感知,用得少)、PTQ(训练后)、QAFT(微调感知)
- 仅量化权重:权重已知易量化。代表:LLM.int8()、GPTQ、AWQ、OWQ、SpQR、FineQuant 等
- 权重+激活都量化:激活有离群值难量化。代表:ZeroQuant、SmoothQuant(把离群值从激活迁移到权重)
4. 提高模型能力
4.1 MoE(混合专家)
- 在模型中放大量专家,每个专家代表一个领域;推理时每次只启用少量专家 → 减小计算量、提高性能
- GShard:将 FFN 替换为 MoE,专家并行分布在多设备;门控网络选概率最高的 2 个专家,通过 All-to-All 通信路由
- Switch Transformers:门控每次只选 1 个专家(Switch 层)→ 减少路由计算、专家容量减半、通信成本降低,性能反而更高
4.2 状态空间模型(SSM)
- 来自控制论,能处理任意长度的连续信号(音频/视频天然适用);文本需离散化
- 常见 SSM LLM:线性注意力、S4、H3、Hyena、RetNet、RWKV、Mamba
- S4:训练用卷积形式、推理用递归形式计算 SSM
- Mamba(S4 的 3 点改进):
- 选择性处理信息:用输入序列经 3 个全连接层生成每 token 各自的 B/C/Δ → 丢弃不重要信息,压缩保留重要信息
- 硬件感知算法:利用扫描 (scan) 优化 GPU 计算
- 更简架构:SSM 与 MLP 融合,非简单重叠
- 可处理 >1M 长度的序列
5. 结语 / 展望
- LLM 是神经网络长期发展的成果,注意力机制 + 大算力产生涌现,文本理解/生成/对话接近人类
- 但 Transformer 固有缺点:生成式模式 & 自注意力算力消耗大、上下文有限、硬件亲和差 → 推理性能低
- 未来可能仍是渐进优化(局部修改 Transformer),也可能有革命性创新(新范式替代生成式模式和自注意力)、增强逻辑推理与世界模型认知,更接近 AGI