DeepSeek‑V4 · 四项核心优化

长上下文怎么变便宜(CSA / HCA),深层网络怎么训得稳(mHC / Muon)。每个模块都可以拖动参数亲手试。

1Mtoken 上下文
27%单 token 推理 FLOPs(对比 V3.2,1M 场景)
10%KV 缓存占用(对比 V3.2,1M 场景)

CSA Compressed Sparse Attention

先把每 m = 4 个 token 的 KV 压成 1 条,再让每个查询只挑最相关的 k 条压缩项做注意力;另外再保留一小段最近 token 的滑动窗口,补上局部细节。

KVc = compressm=4(KV)  I = TopK( score(q, KVc), k )
o = Attn( q, KVc[I] ∪ KVwindow )
历史 token压缩块(越深越相关)被 Top‑k 选中滑动窗口(最近 token)
💡 点击任意压缩块可手动把它设为“最相关”。

基于 DeepSeek‑V4 技术报告(arXiv:2606.19348)与 mHC 论文的公开描述制作;图中的 token 数、矩阵尺寸与随机数据均为教学示意,并非真实模型数值。