DeepSeek-V4 四项核心优化(交互图解)

一句话

长上下文怎么变便宜(CSA / HCA),深层网络怎么训得稳(mHC / Muon)。每个模块都可以拖动参数亲手试。

关键指标(对比 V3.2,1M 场景)

  • 上下文:1M token
  • 单 token 推理 FLOPs:约 27%
  • KV 缓存占用:约 10%

交互图解

打开交互图

图中 token 数、矩阵尺寸与随机数据均为教学示意,并非真实模型数值。

四项优化速览

优化全称解决什么关键机制
CSACompressed Sparse Attention长上下文注意力太贵每 m=4 个 token 压成 1 条 + TopK 选择 + 滑动窗口
HCAHeavily Compressed Attention提供低成本的全局视野压缩比 m′=128,不做筛选,对全部压缩项做稠密注意力
mHCManifold-Constrained Hyper-Connections深层残差信号爆炸 / 消失残差混合矩阵约束为双随机矩阵
MuonMomentum + Newton-Schulz权重更新方向失衡把动量矩阵奇异值拉平为 1,只保留方向 UVᵀ

各模块要点

CSA · Compressed Sparse Attention

先把每 m = 4 个 token 的 KV 压成 1 条,再让每个查询只挑最相关的 k 条压缩项做注意力;另外保留一小段最近 token 的滑动窗口,补上局部细节。

  • 压缩把候选从 N 条降到 N/4,选择器扫描成本随之下降。
  • Top-k 让真正做注意力的条目数与上下文长度脱钩(V4 配置里 k = 1024)。
  • CSA 偏“精”:能精确找回远处的具体细节。

HCA · Heavily Compressed Attention

压缩比拉到 m′ = 128,压得很狠,所以剩下的条目很少,干脆不做筛选,对全部压缩项做稠密注意力,同样配一段滑动窗口。

  • 它是每层都有的“全局摘要”。
  • 层间排布(V4-Pro 共 61 层):前 2 层为 HCA,之后交错排布。
  • CSA 与 HCA 互补:CSA 精准取细节,HCA 提供低成本的全局视野,两者交错堆叠,才把 1M 上下文做到实际可用。

mHC · Manifold-Constrained Hyper-Connections

超连接把一条残差流扩成 n 条并行的流,层与层之间用一个矩阵来混合。矩阵不受限时,叠几十层后信号容易爆炸或消失。

  • mHC 把残差混合矩阵约束成 双随机矩阵(元素非负,每行每列之和都为 1),信号范数就不会被放大。
  • 双随机矩阵的乘积仍是双随机矩阵,所以任意深度都有界。
  • 直观:残差流有 4 个“通道”(水桶),每过一层新桶由旧桶重新混合——每行和 = 1(只是加权平均,不会变大),每列和 = 1(旧桶内容被完整分走)。

Muon · Momentum + Newton-Schulz 正交化

对权重矩阵的动量 M = UΣVᵀ,Muon 不直接用它更新,而是把所有奇异值“拉平”成 1,只保留方向 UVᵀ。这样没有哪个方向独占更新幅度。

  • 正交化用 Newton-Schulz 迭代近似,不必做 SVD:X₀ = M / ‖M‖_F,X_{t+1} = 1.5·X_t − 0.5·X_t X_tᵀ X_t。
  • 作用在奇异值上:σ ← 1.5σ − 0.5σ³(不动点 σ = 1)。
  • 与 AdamW 的区别:AdamW 每个元素独立除以自己的梯度尺度,看不到“矩阵整体方向”结构;Muon 在整个矩阵层面均衡更新方向,目标是更快收敛、更稳定。
  • V4 对大部分模块用 Muon,嵌入等少数参数仍用 AdamW。

相关笔记