DeepSeek‑V4 · 四项核心优化
长上下文怎么变便宜(CSA / HCA),深层网络怎么训得稳(mHC / Muon)。每个模块都可以拖动参数亲手试。
1Mtoken 上下文
27%单 token 推理 FLOPs(对比 V3.2,1M 场景)
10%KV 缓存占用(对比 V3.2,1M 场景)
CSA Compressed Sparse Attention
先把每 m = 4 个 token 的 KV 压成 1 条,再让每个查询只挑最相关的 k 条压缩项做注意力;另外再保留一小段最近 token 的滑动窗口,补上局部细节。
KVc = compressm=4(KV) I = TopK( score(q, KVc), k )
o = Attn( q, KVc[I] ∪ KVwindow )
历史 token压缩块(越深越相关)被 Top‑k 选中滑动窗口(最近 token)
💡 点击任意压缩块可手动把它设为“最相关”。
- 压缩把候选从 N 条降到 N/4,选择器扫描的成本也随之下降。
- Top‑k 让真正做注意力的条目数与上下文长度脱钩(V4 配置里 k=1024)。
- CSA 偏“精”:能精确找回远处的具体细节。
HCA Heavily Compressed Attention
压缩比拉到 m′ = 128,压得很狠,所以剩下的条目很少,干脆不做筛选,对全部压缩项做稠密注意力,同样配一段滑动窗口。它是每层都有的“全局摘要”。
KVh = compressm′=128(KV) o = Attn( q, KVh ∪ KVwindow ) (无 TopK)
柱子右侧的数字 = KV 条目数(1 条 = 1 个 token,或压缩后的 1 个块)。上下文长度按 2 的幂取值,所以 1M ≈ 1.05M 条。
① KV 缓存要存多少条(对数刻度)
② 每个查询实际要算多少条(对数刻度)
层间排布示意(V4‑Pro 共 61 层)
HCA 层CSA 层前 2 层为 HCA,之后交错排布(示意)
- CSA 与 HCA 互补:CSA 精准取细节,HCA 提供低成本的全局视野。
- 两者交错堆叠,合起来才把 1M 上下文做到实际可用。
mHC Manifold‑Constrained Hyper‑Connections
超连接把一条残差流扩成 n 条并行的流,层与层之间用一个矩阵来混合。矩阵不受限时,叠几十层后信号容易爆炸或消失。mHC 把残差混合矩阵约束成双随机矩阵(元素非负,每行每列之和都为 1),信号范数就不会被放大。
Xl+1 = Hres · Xl + HpostT · F( Hpre · Xl )
Hres ∈ 双随机(Sinkhorn‑Knopp 投影)⇒ ‖Hres‖₂ ≤ 1
无约束矩阵:连乘 60 层双随机矩阵:连乘 60 层
纵轴 = 信号大小相对初值的倍数(对数刻度):红线越过 100× 就是爆炸,绿线始终在 1× 附近就是稳定。
下表怎么读:残差流有 4 个“通道”(4 个水桶),每过一层,新桶要由旧桶重新混合。表中第 i 行第 j 列的数 = 新桶 i 里有多少比例来自旧桶 j。
• 每行和 = 1:新桶只是旧桶的加权平均,不会变得更大。
• 每列和 = 1:每个旧桶的内容被完整分走,不会被吞掉。
• 对角线最深:每个通道主要保留自己,只混入少量其他通道。
- 上图只模拟残差混合矩阵的连乘,不含 F;目的是看“恒等路径”能否稳定传信号。
- 双随机矩阵的乘积仍是双随机矩阵,所以任意深度都有界。
Muon Momentum + Newton‑Schulz 正交化
对权重矩阵的动量 M = UΣVᵀ,Muon 不直接用它更新,而是把所有奇异值“拉平”成 1,只保留方向 UVᵀ。这样没有哪个方向独占更新幅度。矩阵的正交化用 Newton‑Schulz 迭代近似,不必做 SVD。
X₀ = M / ‖M‖F Xt+1 = 1.5·Xt − 0.5·XtXtᵀXt → UVᵀ
作用在奇异值上:σ ← 1.5σ − 0.5σ³ (不动点 σ = 1)
先看“方向”是什么:任何矩阵都能拆成若干“方向 × 强度”之和:M = σ₁·u₁v₁ᵀ + σ₂·u₂v₂ᵀ + …。σ 就是强度。若 σ₁ = 10、σ₂ = 1,更新几乎只沿方向 1 走,方向 2 学得很慢。Muon 把所有 σ 换成 1,每个方向步长一样大。这就是“在整个矩阵层面”的含义:它调的是矩阵整体的奇异方向,而不是逐个元素。AdamW 则是每个元素独立除以自己的梯度尺度,看不到这种整体方向结构。
原始动量的奇异值(归一化后)迭代后的奇异值
更新量的“形状”(二维简化:椭圆越扁,说明更新越偏向某个方向)
灰色虚线 = 迭代前,绿色 = 当前。步数拉到足够大时,椭圆变成圆:各方向步长一致。
- 这里用最经典的三次形式演示收敛过程;实际实现使用调过系数的多项式,几步就够。
- V4 对大部分模块用 Muon,嵌入等少数参数仍用 AdamW。
- 相比 AdamW 的逐元素缩放,Muon 在整个矩阵层面均衡更新方向,目标是更快收敛、更稳定。
基于 DeepSeek‑V4 技术报告(arXiv:2606.19348)与 mHC 论文的公开描述制作;图中的 token 数、矩阵尺寸与随机数据均为教学示意,并非真实模型数值。