大语言模型算法演进综述

来源

朱炫鹏, 姚海东, 刘隽, 等. 大语言模型算法演进综述 [J]. 中兴通讯技术, 2024, 30(2): 9-20. DOI: 10.12142/ZTETJ.202402003
原 PDF:00_附件/PDF/LLM算法演进.pdf

一句话概括

LLM 的架构与算法演进分为两条技术路线:①提高推理效率(分布式推理、计算优化、访存优化、量化);②提高模型能力(引入 MoE 混合专家、SSM 状态空间模型等新架构)。


1. 语言模型发展历程(4 阶段)

阶段特点代表
统计语言模型根据语料统计词频概率取词—
神经语言模型引入神经网络;RNN 因梯度消失/爆炸只保留短期信息RNN、LSTM
预训练语言模型预训练 + 下游微调范式ELMo、BERT
大语言模型规模超阈值产生涌现能力(上下文学习、思维链)GPT-3、GPT-4

预训练模型性能随规模增大呈幂律关系;GPT 超越幂律出现涌现现象。


2. Transformer 架构核心

2.1 注意力机制

  • 针对文本序列计算每个 token 与其他 token 的相关系数;基于 QKV(查询-键-值)计算
  • 公式:Attention(Q,K,V) = Softmax(QKᵀ / √Dₖ) · V
  • 优势:可并行计算任意距离 tokens 间的信息(优于 RNN/LSTM)

2.2 多头注意力(MHA)

  • 把 QKV 分成多份,每份独立算注意力再合并 → 增加信息容量
  • 3 种形式:自注意力(Q=K=V=X)、掩码自注意力(禁止未来 token)、交叉注意力(Q 来自解码器,K/V 来自编码器)

2.3 前馈网 FFN

  • 两个全连接层:特征维度 Dm → Df(扩大)→ Dm(恢复)

2.4 残差连接 + 归一化

  • 防止梯度消失、稳定数值,使深层网络前向/反向稳定

2.5 位置编码

  • Transformer 一次输入全部 tokens,需加位置编码表示先后关系(不像 RNN 靠顺序)

2.6 整体结构(编码器 + 解码器)

  • 编码器:多头自注意力 + 前馈网
  • 解码器:掩码自注意力 + 交叉注意力 + 前馈网
  • 按功能选组合:翻译用完整结构;BERT 用编码器(分类/序列标记);GPT 用解码器(序列生成)

2.7 ChatGPT 系列演进

模型年份关键创新序列长度参数量
GPT-12018解码器单向 LM,无监督预训练+微调5121.17×10⁸
GPT-22019多任务预训练、取消微调、LayerNorm 前移10241.5×10⁹
GPT-32020上下文学习、少样本/单/零样本20481.75×10¹¹
ChatGPT(GPT-3.5)2022RLHF、PPO4096>1.75×10¹¹
GPT-42023引入 MoE、多模态8000>1×10¹²

模型架构始终是 Transformer Decoder,但具体模块在调整(LayerNorm 位置、MoE 层),参数量从 1.17×10⁸ 增至 1×10¹² 以上,量变引起质变。


3. 提高推理效率

3.1 LLM 计算特性(瓶颈)

  1. 模型规模大:GPT-3 参数 1750 亿,INT8 下约 175 GB,生成一个 token 需 3240 亿次计算;A100(80GB) 装不下 → 必须分布式
  2. 计算强度低:算术强度 = FLOPs/MOPs(计算量/访存量)。GPT 系列算术强度只有 2(Bert 数百),算力大量浪费在等数据;Batch 增大可提升算术强度
  3. 非线性层效率低:Softmax / LayerNorm 需多次遍历数据、长距离共享 → 访存密集,算子难融合

3.2 四大优化方法

① 分布式推理

  • Tensor 并行(节点内):每层计算/存储均分到多 GPU → 降延时,但增加 GPU 间通信
  • Pipeline 并行(节点间):不同层分到不同节点 → 不减总延时,只减节点存储

② 计算优化

  • KV Cache:每次只生成一个 token,把历史 Key/Value 缓存下来复用,避免重复计算;但显存占用大(GPT-3 约 164GB,约为参数的 1/2),引发”内存墙”
  • MQA(多查询注意力):Q 保持多头,K/V 仅一个头共享 → 吞吐提升 30%–40%,性能损失小
  • GQA(分组查询注意力):MHA 与 MQA 的折衷,Q 头分组共享 K/V
  • 推测解码(2023 新兴):小模型先”推测”几个 token,大模型并行验证 → 提并行度、降延时
  • 精简 Transformer:去掉残差/Value/投影/LayerNorm 等,吞吐 +15%、参数 −15%

③ 访存优化

  • FlashAttention:分块计算 Softmax + 核函数融合 → 速度提升 7.6 倍
  • Flash-Decoding:并行化维度扩展到 KV 序列长度,离线统计最大值 Φ
  • PagedAttention:仿操作系统分页,允许 KV Cache 存于非连续内存,支持内存共享(多序列共享提示 KV),减少 60%–80% 显存浪费

④ 量化

  • 阶段分类:QAT(训练感知,用得少)、PTQ(训练后)、QAFT(微调感知)
  • 仅量化权重:权重已知易量化。代表:LLM.int8()、GPTQ、AWQ、OWQ、SpQR、FineQuant 等
  • 权重+激活都量化:激活有离群值难量化。代表:ZeroQuant、SmoothQuant(把离群值从激活迁移到权重)

4. 提高模型能力

4.1 MoE(混合专家)

  • 在模型中放大量专家,每个专家代表一个领域;推理时每次只启用少量专家 → 减小计算量、提高性能
  • GShard:将 FFN 替换为 MoE,专家并行分布在多设备;门控网络选概率最高的 2 个专家,通过 All-to-All 通信路由
  • Switch Transformers:门控每次只选 1 个专家(Switch 层)→ 减少路由计算、专家容量减半、通信成本降低,性能反而更高

4.2 状态空间模型(SSM)

  • 来自控制论,能处理任意长度的连续信号(音频/视频天然适用);文本需离散化
  • 常见 SSM LLM:线性注意力、S4、H3、Hyena、RetNet、RWKV、Mamba
  • S4:训练用卷积形式、推理用递归形式计算 SSM
  • Mamba(S4 的 3 点改进):
    1. 选择性处理信息:用输入序列经 3 个全连接层生成每 token 各自的 B/C/Δ → 丢弃不重要信息,压缩保留重要信息
    2. 硬件感知算法:利用扫描 (scan) 优化 GPU 计算
    3. 更简架构:SSM 与 MLP 融合,非简单重叠
    • 可处理 >1M 长度的序列

5. 结语 / 展望

  • LLM 是神经网络长期发展的成果,注意力机制 + 大算力产生涌现,文本理解/生成/对话接近人类
  • 但 Transformer 固有缺点:生成式模式 & 自注意力算力消耗大、上下文有限、硬件亲和差 → 推理性能低
  • 未来可能仍是渐进优化(局部修改 Transformer),也可能有革命性创新(新范式替代生成式模式和自注意力)、增强逻辑推理与世界模型认知,更接近 AGI

相关笔记