分析LLM架构进展:从GPT-1到DeepSeek-R1

本文全面分析了大型语言模型(LLM)的架构演进,从奠基性的GPT-1(2018)到最先进的DeepSeek-R1(2025)。文章追溯了推动模型效率、可扩展性和性能显著提升的关键创新。讨论重点在于从早期设计到现代架构范式的转变,包括从绝对位置编码到旋转位置嵌入(RoPE)的过渡,注意力机制从多头注意力(MHA)到更高效的变体(如分组查询注意力(GQA)和多潜在注意力(MLA))的演进,以及诸如SwiGLU等更优激活函数的应用。文章的核心主题是稀疏混合专家(MoE)架构的兴起,该架构使得参数数量大幅增加,而计算成本却没有相应增加。本文通过对 OpenAI、Meta(LLaMA)、Mistral AI、阿里巴巴(Qwen)和 DeepSeek 等有影响力的模型系列进行考察,阐述了这些综合进步如何为当今功能强大、具有长上下文和高度高效的 LLM 铺平了道路。

如果您还不是 Medium 的订阅用户,请点击此处阅读全文。

1. 基础:GPT-1 和 GPT-2 架构

GPT-1 (2018) 奠定了基础,它使用了一个仅包含解码器的 Transformer 模型,拥有 1.17 亿个参数、12 层、12 个注意力头和一个 256 个 token 的上下文窗口。它使用了 GELU 激活函数、Post-LayerNorm和绝对位置编码。GPT-1 主要针对下游自然语言处理任务进行了微调,采用了掩码多头注意力机制 (MHA) 和前馈神经网络 (FFNN)。

GPT-2 (2019) 扩展到 15 亿个参数、48 层、25 个头部,以及 1024 个 token 的上下文。它转向Pre-LayerNorm以提高稳定性,并展现出强大的零样本性能。关键组件包括:

  • 预层归一化 掩蔽式多头注意力(MHA) 前馈神经网络(FFNN) GELU激活 正则化 Dropout* 正弦位置嵌入

尽管 GPT-2 能够生成连贯的文本,但它面临着二次注意力复杂度 O( n ²) 和在小数据集上过拟合的问题。

2. GPT-2 的主要架构演变

现代开放权重线性模型以 GPT-2 为基础,但融入了针对大规模训练的优化:

  • 移除 Dropout:对于大规模数据集上的单周期训练来说,Dropout 是不必要的。 RoPE:取代绝对嵌入,以实现更好的长度外推。 RMSNorm:比 LayerNorm 更简单、更快速的替代方案。 Swish/SwiGLU:比GELU更高效。 分组查询注意力(GQA):平衡 MHA 的表达能力和效率。 滑动窗口注意力(SWA):将注意力限制在局部窗口内,复杂度为 O(n)。 多潜在注意力(MLA):压缩长上下文信息。* 专家混合模型(MoE):稀疏激活以实现可扩展性。

LLaMA 1 和 LLaMA 2 模型采用了 RoPE、RMSNorm 和 SwiGLU 作为关键架构组件。

3. 旋转位置编码(RoPE,2021)

旋转位置编码 (RoPE)是一种将位置信息集成到基于 Transformer 模型自注意力机制中的方法。它已成为 LLaMA 和 Mistral 等现代架构的标准组件。与传统的绝对位置嵌入(在词元表示中添加固定向量)不同,RoPE 通过旋转查询向量 (Q) 和键向量 (K)来编码位置,从而自然地捕捉词元之间的相对位置关系。

以下是具体步骤:

1. 带位置信息的词嵌入

位置i处的每个标记都有一个隐藏向量(例如,维度为d)。我们将这个向量分割成d /2 个维度对:

  • ( x ₀, x ₁​), ( x ₂​, x ₃​), … , ( x_ ( d −2)​, x_ ( d −1)​)

对于每一对元素,我们将其解释为一个二维向量。

2. 根据位置应用旋转

我们使用取决于位置索引i和频率几何级数(类似于傅里叶特征)的角度旋转每个 2D 分量:

对于位置i,定义:

然后对位置i处的第**m对特征进行旋转:

旋转后的向量成为位置i处 Q 和 K 的新表示。实际上,这可以通过使用复数高效实现:

其中xᵢ​ 被视为每个维度对的复数。

旋转位置嵌入(nips.cc)

3. 注意力得分反映了相对位置

现在考虑位置i和j处的两个标记。它们的旋转查询和键会导致涉及如下项的点积:

这意味着注意力得分仅取决于相对距离i − j,而不是绝对位置——这是一种强大的归纳偏差。

因此,RoPE 自然地编码了相对位置信息,从而提高了对更长序列的推断能力,并增强了在需要理解词序的任务中的表现。

4. 规范化与激活:追求效率

4.1 层归一化与均方根归一化

层归一化是一种通过对每一层的输入进行归一化来稳定深度神经网络训练的技术。然而,它的计算量可能非常大。RMSNorm 通过仅对激活值的均方根进行归一化来简化这一过程,使其成为一种更快的替代方案,并已被 LLaMA 和 Gemma 等模型广泛采用。

LayerNorm 与 RMSNorm

4.2 GELU 到 SwiGLU (2019)

虽然 GELU 在早期模型中表现出色,但 SwiGLU 激活函数在大规模 Transformer 模型中展现出更优的性能。SwiGLU 于 2020 年首次在 Google 的 PaLM 架构中引入,它结合了 Swish 激活函数和门控线性单元 (GLU) 的特性。

Swish 激活功能图片来源

该函数的工作原理如下:

  • SwiGLU(x, W, V, b, c) = Swish(xW + b) ⊙ (xV + c),

其中,Swish 组件充当学习到的信息流控制门,而线性变换则提供额外的表达能力。LLaMA 2 等模型已证明,SwiGLU 相比更简单的激活函数,性能始终更优。

5. 注意力机制的演变:从MHA到高级变体

多头注意力机制(MHA)是Transformer架构的基石,它允许模型同时关注来自不同表示子空间的信息。然而,其计算和内存需求与序列长度呈二次方关系(O(n²)),这构成了一个显著的瓶颈,尤其是在推理阶段。为了解决这个问题,人们开发了几种先进的注意力机制变体,每种变体都在性能、速度和内存效率之间提供了独特的权衡。

MHA vs GQA vs MQA(来源)

5.1 多查询注意力机制(MQA)

MQA 通过让所有查询头共享一个公共的键 (K) 和值 (V) 头,为内存带宽问题提供了一种激进的解决方案。这显著减小了 K/V 缓存的大小,从而大幅提升了令牌生成速度并显著降低了内存占用。然而,与 MHA 相比,这种极端的压缩有时会导致模型质量下降。

5.2 分组查询注意力机制 (GQA)

GQA 在 MHA 的高质量和 MQA 的高效性之间实现了巧妙的平衡。它的工作原理是将查询头分成多个组,同一组内的所有查询头共享一个键值头和一个值头。这种方法显著减小了键值缓存的大小,同时保持了比 MQA 更高的缓存质量,使其成为许多现代 LLM(例如 LLaMA 3 和 Mistral 7B)的理想选择。

5.3 滑动窗口注意力(SWA)

为了打破长序列注意力机制的二次方复杂度,滑动窗口注意力(SWA)将每个词元的注意力限制在一个固定大小的局部“窗口”内,该窗口包含其前面的词元(例如,最后 4096 个词元)。这种简单而有效的约束将计算复杂度从 O( n² ) 降低到 O( n ·W),其中 W 为窗口大小,使其与序列长度呈线性关系。这使得模型能够高效地处理非常长的序列。虽然单层模型只能访问局部信息,但堆叠多个 SWA 层可以扩展模型的有效感受野,使信息能够从远超固定窗口大小的区域传播。

香草注意力机制与滑动窗口注意力机制(来源)

5.4 SW-GQA(滑动窗口分组查询注意力)

为了最大限度地提高效率,像 Mistral 7B 这样的模型结合了 SWA 和 GQA 两种算法。这种混合机制兼具两者的优势:它利用 SWA 的线性复杂度来处理超长序列,并利用 GQA 的低内存带宽占用来加快推理速度。

5.5 多头潜在注意力(MLA)

MLA(多层次分析)技术已应用于 DeepSeek-V3 等模型中,为处理长上下文引入了新的创新层。其核心思想是在缓存键值对之前,将其压缩到一个低维的“潜在”空间。这显著减小了键值缓存的大小,甚至比 GQA 的效果还要好,同时力求保留高质量注意力机制所需的丰富信息。这种压缩方式使得对超过 10 万个词元的序列进行高效推理成为可能。

6. 混合专家(MoE)革命

混合专家(MoE)架构通过高效计算实现万亿参数模型,彻底革新了层级模型(LLM)的扩展性。MoE 源于 2017 年的“超大型神经网络”(Outrageously Large Neural Networks)和谷歌的 Switch Transformer(2021 年)等成果,它利用稀疏性,每个词元仅激活一小部分参数,从而将模型规模与推理成本解耦。到 2025 年,它将成为 Mistral AI、阿里巴巴的 Qwen 和 DeepSeek 等顶级模型的标准配置。

6.1 教育部的核心组成部分

MoE 用多个“专家”(小型 FFNN)和一个路由器替换了标准的 FFNN,该路由器为每个 token 选择几个(例如 2-8 个)专家。输出是激活专家的加权和:y = ∑ gᵢ ⋅ Eᵢ ( x ),其中大多数gᵢ = 0。负载均衡损失确保在训练期间专家被均匀使用。

6.2 优势和效率

增益 MoE 的参数扩展速度呈亚线性增长:对于P 个总参数和k 个活跃专家,计算复杂度为 O( k ⋅( P / E )),这使得像 DeepSeek-V3(总参数数万亿,活跃专家数数十亿)这样的模型能够以媲美规模较小的密集模型的速度运行。其优势包括通过特化实现更好的泛化能力、更低的内存占用和更快的推理速度,但同时也增加了训练通信开销。

6.3 路由机制的演变

MoE中的路由机制不断发展,以提高训练稳定性、负载均衡和整体性能,解决专家崩溃和令牌分布不均等问题:

  • Top-K 路由:路由器根据分数将令牌分配给前 kkk 位专家;保证稀疏性,但存在不平衡的风险。 精细化 MoE:将专家细分为子专家,以实现精确的专业化和效率提升。 共享专家隔离(DeepSeekMoE):隔离路由频率较低的共享专家,增强 DeepSeek-V3 等模型的专业化和稳定性。

两个关键模型预示着这种架构在开放式逻辑模型中的主流应用:

  • Mixtral 8x7B(2023 年 12 月):由 Mistral AI 开发,该模型是首批取得巨大成功的稀疏 MoE 模型之一。它包含总共 467 亿个参数,但对于每个 token,其路由器会从 8 个可用专家中选择 2 个,因此在推理过程中只有 129 亿个活跃参数。这种设计使其在各种基准测试中都超越了规模更大的密集模型(例如 LLaMA 2 70B),同时运行速度更快、成本更低。* DeepSeekMoE(2024年1月):继Mixtral取得成功之后,DeepSeekMoE模型进一步验证了该架构的强大功能。该模型拥有160亿个参数,每个token有28亿个活跃参数。DeepSeekMoE的一项关键创新在于其高度优化的路由策略,旨在提升负载均衡和专家专精能力。该模型基于一个包含2万亿个token的庞大数据集从零开始训练,并在推理过程中显著降低了计算资源消耗,同时展现出优于LLaMA 7B的性能。

DeepSeek MoE架构(来源)

这些模型的成功证明了稀疏架构在构建最先进的LLM方面的可行性,为DeepSeek-V3等更具雄心的系统铺平了道路,DeepSeek-V3将MoE集成到其高效强大的设计的核心组件中。

7. 领先的LLM系列课程中的架构采用

7.1 Meta 的 LLaMA 系列

LLaMA 系列模型于 2023 年 2 月首次推出,一直以来都融入了尖端的建筑特色。

  • LLaMA(2023 年 2 月):此初始版本采用仅解码器架构,包含 RoPE、RMSNorm 和 SwiGLU 激活函数。 LLaMA 2(2023 年 7 月): Llama 2 在其前身的基础上引入了分组查询注意力 (GQA),以提高推理速度,并使用比前身多 40% 的数据进行训练。 LLaMA 3(2024 年 4 月):此版本进一步增强了推理能力,并扩大了上下文窗口。 LLaMA 3.1(2024 年 7 月):一次重大更新,包括 405B 参数模型,将上下文长度扩展到 128K,并增加了多语言支持。 LLaMA 3.2(2024 年 9 月):引入了多模态功能,包括支持视觉的模型和用于设备端应用程序的轻量级版本。 LLaMA 3.3(2024 年 12 月):一个 70B 参数模型,其性能与规模更大的 Llama 3.1 405B 模型相当,效率显著提高。 LLaMA 4(2025 年 4 月):最新一代产品采用混合专家(MoE)架构,并且是原生多模态的,支持文本和图像输入。

7.2 Mistral AI 的创新

Mistral AI凭借高效强大的开放权重模型而声名鹊起。

  • Mistral 7B(2023 年 9 月):该模型因使用分组查询注意力和滑动窗口注意力 (SWA) 而备受关注,从而以相对较少的参数数量实现了强大的性能。 Mixtral 8x7B(2023 年 12 月):该模型将混合专家架构带到了开放权重 LLM 的前沿,证明了其在稀疏激活下实现高性能的有效性。 Mistral Large 2(2024 年 7 月):一个拥有 1230 亿个参数的密集模型,具有 128K 个上下文窗口,在代码生成、数学和推理方面提供了显著的改进。

7.3 阿里巴巴的Qwen系列

阿里巴巴的Qwen(同义千文)系列产品最初于2023年发布,发展迅速,凭借其强大的多语言功能和开放重量级与专有型号的融合,已成为市场上的重要参与者。

  • Qwen(2023):第一代产品奠定了基础,在中文和英文方面均表现出色。其架构基于标准的Transformer框架。 Qwen1.5(2024年初):此版本标志着架构的重大升级,采用了许多现代高效技术。它是一个仅包含解码器的Transformer模型,支持SwiGLU激活函数、分组查询注意力机制(GQA)、RoPE以及注意力QKV偏置。该系列还引入了滑动窗口和全注意力机制的混合,并提供了从0.5亿到110亿参数的多种模型规模,以及MoE变体。 Qwen2(2024年6月): Qwen2系列进一步优化了架构,提升了性能和稳定性。它基于Qwen1.5,并采用了GQA、RoPE和SwiGLU算法,同时在某些变体中还支持高达131,072个token的上下文长度。这一代产品既包含强大的密集模型(最多720亿个参数),也包含MoE模型。* Qwen2.5 (2025):最新版本引入了先进的多模态功能,并针对视觉 (Qwen-VL) 和音频 (Qwen-Audio) 推出了专门的变体。该系列中的一些模型,例如 Qwen2.5-Max,采用了 MoE 架构,并在高达 20 万亿个 token 的海量数据集上进行训练,以提升性能基准。

7.4 DeepSeek系列:

DeepSeek 专注于效率和专业功能,不断突破 LLM 架构的界限。

  • DeepSeek LLM(2023 年 11 月):该系列采用了类似 Llama 的架构,包含预范数解码器 Transformer、RMSNorm、SwiGLU、RoPE 和 GQA。 DeepSeek-MoE(2024 年 1 月): MoE 架构的早期采用者。 DeepSeek-V3(2024 年 12 月):强大的 MoE 模型,总共有 6710 亿个参数(每个 token 激活 370 亿个参数),128K 上下文窗口,以及多头潜在注意力 (MLA) 和多 Token 预测 (MTP) 等创新功能。 DeepSeek R1(2025 年 1 月):一款专注于高级推理的模型,基于 DeepSeek-V3 架构构建。 专用模型: DeepSeek 还发布了针对特定领域量身定制的模型,包括用于视觉语言理解的DeepSeek-VL 、用于数学定理证明的**DeepSeek-Prover以及统一的多模态模型Janus 。**

结论:高效可扩展人工智能的新时代

从 GPT-1 的基础原理到 DeepSeek-V3、LLaMA 4 和 Qwen2.5 等模型的复杂、高度优化的架构,人工智能领域发生了深刻的范式转变。这种演进不仅仅是规模的扩大,更是智能设计的革新,其驱动力是对计算效率和性能提升的不懈追求。从 RoPE 的旋转式优雅到 RMSNorm 和 SwiGLU 的实用高效,这些架构上的进步共同解决了曾经制约语言模型发展的诸多关键瓶颈。

从MHA的二次复杂度到GQA的均衡效率,再到滑动窗口注意力(SWA)的线性时间处理,注意力机制的创新对于解锁处理海量上下文信息的能力至关重要。然而,最具变革性的飞跃是稀疏混合专家(MoE)架构的广泛应用。Mixtral 8x7B和DeepSeekMoE等模型率先在开放权重空间中应用了这种方法,它从根本上重新定义了模型规模和计算成本之间的关系,使得创建拥有数千亿参数且运行速度惊人且成本低廉的模型成为可能。

Meta、Mistral AI、阿里巴巴和DeepSeek等领先开发商对这些技术的快速采用和完善,凸显了人工智能生态系统的活力与竞争,在这个生态系统中,架构突破正迅速成为行业标准。随着这些强大高效的模型变得更加普及,未来将出现基于效率、稀疏性和智能扩展等核心原则构建的、功能更强大、多模态和更专业的AI系统。