大模型训练注意力崩塌怎么办
注意力坍塌是工业界训练 Transformer 时的大坑:深层注意力熵暴跌、多个头变得高度相似,导致模型”看不全”上下文。本文基于真实生产环境经验,给出坍塌的判断标准与三件套解决方案(QK-Norm / 头多样性正则化 / 残差缩放),附带可落地的调参指南和面试加分点。
时间轴·要点整理
00:00–01:20|什么是注意力坍塌
- 概念:Attention Collapse 指 Transformer 在训练中,注意力权重退化,表现为两种形式:
- 多个头的注意力模式几乎一样(等于白算)
- 注意力过度集中在少数 token 上(如
[CLS]、[BOS]),后续几千个 token 基本未被编码
- 真实案例:一个 32 层模型,最后 8 层所有注意力头的权重 90% 以上集中在前 3 个 token,训练 3 天烧了 800 多刀 GPU,全部白训。
- 现状:网上 90% 的文章只抄论文公式,不讲显存怎么算、参数怎么调。
01:20–02:30|坍塌本质:.softmax 赢家通吃 + 残差偷懒
- 一句话本质:softmax 的”赢家通吃”效应与残差连接的”偷懒梯度”在深层形成恶性循环。
- 大白话比喻:公司开会,老板(softmax)每次只盯一个人说话,其他人插不上嘴;几轮下来大家发现”反正老板只听他的”,就不准备了(残差偷懒),最后只剩一个人在说,其他人在摸鱼。
- 数学表现:坍塌时 softmax 输出近似 one-hot 向量,雅可比矩阵趋近于 0,梯度无法回传,形成死循环。
- 残差连接的作用:一旦注意力分支退化,梯度更倾向于走恒等分支(残差捷径)回传,注意力分支梯度越来越弱,形成正反馈,深层彻底不更新。
02:30–03:10|坍塌判断三标准
| 指标 | 健康值 | 坍塌信号 |
|---|---|---|
| 深层注意力熵 | > 5.0 | 持续 < 3.0 且单调下降(seq_len=4096 时理论最大值≈log₂4096≈8.3) |
| 头间余弦相似度 | < 0.4 | 深层 > 0.7,头与头像复制粘贴 |
| 长序列 PPL | — | 明显高于短序列任务(暴涨 15–20%) |
三条满足两条即可确诊。
03:10–04:00|防坍塌三件套
① QK-Norm(最推荐,零副作用)
- 位置:Q、K 投影后、点积前各加一个 LayerNorm
- eps 默认
1e-5(安全值) - 与 Pre-LN 的本质区别:Pre-LN 归一化的是投影前的”原材料”,无法阻止 Q、K 投影后内积漂移;QK-Norm 直接约束每个头做点积前的向量范数,把 softmax 输入压入健康区间,从源头掐断坍塌
② 头多样性正则化
- 系数 λ 推荐
0.03(范围 0.01–0.1) - 需 warmup 1000 步(500–2000)
- 直接惩罚头间相似度,效果猛但需调参
③ 残差缩放
- 注意力输出乘缩放因子
0.9(仅对最后 1/3 深层生效) - 给注意力分支”强制发言权”,防止被残差捷径淹没
04:00–结束|实验对比与调参速查
| 配置 | 验证 PPL | 深层注意力熵 | 头间相似度 | 显存 (7B/4096) | 速度 |
|---|---|---|---|---|---|
| Baseline(标准 MHA) | 12.8 | 1.8(严重坍塌) | 0.87 | 34 GB | 1.0× |
| 仅 QK-Norm | 11.2 | 5.9 | 0.52 | 34.3 GB | ×1.60 |
| 仅多样性正则化 | 11.6 | 4.8 | 0.31 | 34 GB | ×2.60 |
| QK-Norm + 多样性正则化 | 10.1 | 6.5 | 0.28 | 34.3 GB | 0.91× |
| 三件套全开 + FlashAttn | 9.7 | 6.8 | 0.22 | 3.5 GB(仅注意力矩阵) | 1.15× |
实验基线:Llama-7B,seq_len=4096,batch_size=1,A100-80G,C4 子集。数字来自真实实验记录,±0.3 波动。
核心参数速查
| 参数 | 推荐范围 | 默认最优 | 设错后果 |
|---|---|---|---|
qk_norm_eps | 1e-5 ~ 1e-6 | 1e-5 | 太小数值不稳,太大归一化失效 |
diversity_lambda | 0.01 ~ 0.1 | 0.03 | >0.1 不收敛,<0.01 无效 |
attn_residual_scale | 0.8 ~ 1.0 | 0.9(深层) | 太小信息丢失,1.0 等于没做 |
attn_temperature | √d_k ~ 2√d_k | √d_k | 太高太均匀,太低加剧坍塌 |
diversity_warmup_steps | 500 ~ 2000 | 1000 | 不加 warmup 早期干扰训练 |
面试加分项(90% 候选人答不上来)
Q1:为什么 QK-Norm 能防坍塌,而 Pre-LN 做不到?
- Pre-LN 归一化的是投影前的输入,统一的是”原材料”分布,不能阻止 Q、K 投影后各自的内积漂移。
- QK-Norm 直接在 Q、K 投影后、点积前各加一个 LayerNorm,把每个头的 Q、K 约束在单位方差附近,使 QK^T 不会出现极端值,softmax 输入始终在健康区间,从源头掐住坍塌。
Q2:为什么残差连接会加速深层注意力坍塌?
- 残差连接使每层输出 = 注意力分支 + 恒等分支。当注意力分支退化(输出趋近常数向量)时,恒等分支提供捷径,梯度更倾向走恒等分支回传,注意力分支梯度越来越弱,形成正反馈:注意力越弱 → 梯度越走残差 → 注意力更弱,最终深层彻底坍塌。因此需要对注意力输出乘小于 1 的缩放因子(如 0.9),强制模型重视注意力分支。
关键术语修正说明
| 原文 OCR | 修正 |
|---|---|
| 塌 / 坍塌混用 | 统一为”坍塌” |
| BOStoken / CLStoken | 改为 [BOS] token / [CLS] token |
| 商值 / 熵值混用 | 统一为”熵值” |
| 残差竭近 / 残差捷径 | 统一为”残差捷径” |
| qk.norm / QK-Norm 混用 | 统一为”QK-Norm” |
| 000:dnm(乱码) | 删除,无实质信息 |
04:10 – 第二个手段:头多样性正则化
讲解要点:
思路非常粗暴——多头注意力之间不是太像了吗?那就直接在损失函数里加一项,惩罚头之间的相似度。
屏内文字:
本质答案:Pre-LN是对QKV投影前的输入做归一化,它统一了”原材料”的分布,但不能阻止Q和K投影后各自的内积漂移。
QK归一化是直接在Q和K投影后、计算点积前各加一个LayerNorm,把Q和K的每个头都约束在单位方差附近,这样QK^T的值就不会出现极端大或极端小,softmax的输入始终在健康区间,从根本上掐住了坍塌的源头。
Q2:为什么残差连接会加速深层注意力塌?
本质答案:残差连接让每一层的输出 = 注意力分支 + 恒等分支。当注意力分支开始退化(输出趋近于某个常数向量),恒等分支提供了”捷径”,梯度更倾向于走恒等分支回传,注意力分支的梯度信号越来越弱。这形成正反馈:注意力越弱 → 梯度越走残差 → 注意力更弱。到深层时,注意力分支几乎不更新了,彻底塌。这就是为什么有时要给注意力输出乘一个小于1的缩放因子(如0.9),强制模型”重视”注意力分支。
04:20 – JS散度与正则化系数λ
讲解要点:
通常用JS散度来衡量不同头注意力分布的差异。这个正则项的系数λ,工业界默认从0.03起步。
屏内文字(参数表):
| 参数 | 作用 | 推荐范围 | 默认最优值 | 设错后果 |
|---|---|---|---|---|
qk_norm_eps | QK LayerNorm的epsilon,防除零 | 1e-5 ~ 1e-6 | 1e-5 | 太小数值不稳定,太大归一化失效 |
diversity_lambda | 头多样性正则化系数 | 0.01 ~ 0.1 | 0.03 | >0.1模型不收敛,<0.01没效果 |
attn_residual_scale | 注意力输出残差缩放因子 | 0.8 ~ 1.0 | 0.9(深层) | 设太小信息丢失,设1.0等于没优化 |
attn_temperature | softmax温度(替代√d_k) | √d_k ~ 2×√d_k | √d_k(不变) | 太高注意力太均匀,太低加剧坍塌 |
diversity_warmup_steps | 多样性正则化warmup步数 | 500 ~ 2000 | 1000 | 不加warmup早期干扰训练 |
04:30 – 多样性正则化的翻车风险
讲解要点:
这个方法是效果最猛的,但也最容易翻车。λ要是设太大,模型就会为了不同而不同,反而破坏了语义建模的本能。
真实踩坑:当时把λ拉到了0.1,结果验证集PPL直接从10.2暴涨到18.5。
04:40 – Warmup的必要性
讲解要点:
用这个方法一定要配warmup,让λ在前1000步从零线性增长到目标值。
屏内文字(实验对比):
| 配置 | 验证PPL | 深层注意力熵 | 头间相似度 | 显存(7B/4096seq) | 训练速度 |
|---|---|---|---|---|---|
| Baseline(标准MHA) | 12.8 | 1.8(严重坍塌) | 0.87 | 34GB | 1.0× |
| 仅QK-Norm | 11.2 | 5.9 | 0.52 | 34.3GB | 0.97× |
| 仅多样性正则化 | 11.6 | 4.8 | 0.31 | 34GB | 0.86× |
| QK-Norm + 多样性正则化 | 10.1 | 6.5 | 0.28 | 34.3GB | 0.91× |
| 三件套全开 + FlashAttn | 9.7 | 6.8 | 0.22 | 3.5GB(仅注意力矩阵,总模型约18GB) | 1.15× |
实验基于Llama-7B架构,seq_len=4096,batch_size=1,A100-80G,训练数据为C4子集。数字来自真实实验记录,±0.3波动。
04:50 – 第三个手段:残差缩放
讲解要点:
残差缩放——给注意力分支的输出乘上一个小于1的因子,比如0.9。这等于强制告诉模型:你必须得重视注意力分支算出来的东西,不能全指望残差捷径偷懒。
屏内文字(参数记忆卡片):
| 手段 | 核心参数 | 一句话 |
|---|---|---|
| QK-Norm | 加在哪:Q和K投影后、点积前;eps=1e-5 | 最安全的防坍塌手段,几乎零副作用 |
| 多样性正则化 | 系数λ:0.03(默认);warmup:1000步 | 直接惩罚头间相似度,效果最猛但需要调参 |
| 残差缩放 | 缩放因子:0.9(深层);仅深层生效(最后1/3层) | 给注意力分支”强制发言权” |
| 监控指标 | 注意力熵:>5.0算健康;头相似度:<0.4算正常 | 不看监控等于盲飞 |
05:00 – 残差缩放的适用场景
讲解要点:
这个方案零额外开销,特别适合用来给深层坍塌做定点治疗。通常我们也只在最后1/3的层里用——浅层信号足够强,没必要降。
05:10 – 工业界调参指南
讲解要点:
再说说调参,这些都是我在7B和13B模型上跑出来的血泪经验:
- QK-Norm的epsilon:无脑用1×10⁻⁵。太小,数值不稳定;太大,归一化失效。
- 多样性正则化的λ:在0.01到0.1之间算,默认从0.03开始。超过0.05就要瞪大眼睛,盯好曲线。
- 残差缩放因子:在0.8到1.0之间,深层用0.9是个很稳妥的起点。
极易忽略的点:多样性正则化务必加上warmup,让模型有个适应过程。
05:30 – 生产级代码框架
屏内文字(代码片段):
# QK归一化:在计算点积前约束分布
q = self.q_norm(q)
k = self.k_norm(k)
# 转置为[bsz, heads, seq, head_dim]
q, k, v = q.transpose(1,2), k.transpose(1,2), v.transpose(1,2)
attn_weights = torch.matmul(q, k.transpose(-2,-1)) * self.scale
attn_weights = F.softmax(attn_weights, dim=-1)
attn_output = torch.matmul(attn_weights, v)
attn_output = attn_output.transpose(1,2).reshape(bsz, seq_len, -1)
return self.o_proj(attn_output), attn_weights06:00 – 真实踩坑实录(坑1~坑3)
坑1:QK-Norm加错位置,模型直接训崩
- 现象:在QKV投影之前加了LayerNorm(当成Pre-LN用了),训练loss在500步后突然NaN。
- 原因:QK-Norm的精髓是在投影之后、每个头上独立归一化。加在投影前等于普通Pre-LN,对QK内积分布没约束,softmax输入依然可能爆炸。
- 解决:把LayerNorm移到Q和K的view/reshape之后,每个head_dim维度上独立做。代码里是
self.q_norm(q)而不是self.q_norm(hidden_states)。这个顺序错了我见过至少4个团队踩过。
坑2:多样性正则化λ设0.1,验证集PPL暴涨8个点
- 现象:想当然觉得”正则化越强越好”,λ从0.03拉到0.1,训练loss降了但验证PPL从10.2涨到18.5。
- 原因:多样性正则化本质是强制头之间拉开距离,λ太大会逼迫头学出”为不同而不同”的模式,反而破坏了语义建模能力。0.03是在7B规模上反复实验的甜点值。
- 解决:λ从0.01开始网格搜索,步长0.01,配合warmup使用。超过0.05就要非常小心。
坑3:只在浅层加正则化,深层照样坍塌
- 现象:觉得”深层本来就该更专注”,只在第1-16层加了多样性正则化,结果第24-32层的注意力熵还是掉到了2.1。
- 原因:注意力坍塌是逐层累积的,深层是重灾区。浅层有足够的信号,反而不容易塌。
- 解决:正则化覆盖全部层,或者至少覆盖后2/3的层。深层还可以额外加残差缩放。
06:30 – 真实踩坑实录(坑4~坑5)
坑4:FlashAttention和自定义正则化不兼容
- 现象:用flash_attn替换标准attention后,多样性正则化损失直接报错——拿不到完整的注意力权重矩阵。
- 原因:FlashAttention是IO-aware的,不显式存储完整的QK^T矩阵,而是分块计算。所以你没法直接在训练时拿到attn_weights做正则化。
- 解决:两种方案:
- 每隔N步用标准attention做一次前向拿到attn_weights计算正则化损失(内存开销大但可控)
- 改用head输出的相似度作为代理指标,不依赖注意力权重(推荐,更工程化)
真相:FlashAttention解决了的是显存和速度问题,跟注意力坍塌是两码事。而且FlashAttention的数值精度理论上略低于标准实现,在某些边界条件下甚至还可能轻微加速坍塌。我见过一个模型用标准Attention时深层熵是5.5,换成Flash后变成了4.8——差异不大,但确实存在。所以千万别以为上了FlashAttention就可以高枕无忧,监控照样得跟上。
坑5:监控指标设太高,天天被误报警告吵醒
- 现象:把注意力的健康阈值设成6.0,结果正常训练波动到5.5就告警,一个月收了80多条false alarm。
- 原因:熵的理论最大值是log(seq_len),4096长度下约8.3。但实际训练中熵在4.5~7.0波动都是正常的,只有持续低于3.0且单调下降才需要警惕。
- 解决:设置连续3个监控点都低于3.0才触发告警,避免单点波动误报。
07:00 – 真实踩坑实录(坑6~坑7)
坑6:用了GQA后以为万事大吉,结果坍塌模式变了
- 现象:换成GQA(Grouped Query Attention,如Llama-2用的)后,注意力熵看起来还行,但模型在长文档QA上扣分严重。
- 原因:GQA把多个Query头共享一组KV头,坍塌从”头间相似”变成了”组间相似”——每组内的Query头学得几乎一样。原来的头多样性正则化检测不到这种坍塌模式。
- 解决:用了GQA后监控指标必须同步升级,改成监控组间差异而不是头间差异。修改监控脚本的分组逻辑。
坑7:训到一半改参数,之前白训了
- 现象:训练到15k步发现注意力掉到2.5,紧急加了QK-Norm继续训,结果loss直接跳变,模型开始输出乱码。
- 原因:QK-Norm引入了新的可训练参数(LayerNorm的γ和β),从checkpoint热重启时这些参数是随机初始化的,破坏了已有的注意力模式。
- 解决:要么从头训,要么先做几千步的”QK-Norm预热”——冻结其他参数只训QK-Norm的参数,等注意力熵回升到健康值再继续。
七、坑3:只在浅层加正则化,深层照样塌
| 要素 | 内容 |
|---|---|
| 现象 | 觉得”深层本来就该更专注”,只在第1–16层加了多样性正则化,结果第24–32层的注意力还是掉到了2.1 |
| 原因 | 注意力塌是逐层累积的,深层是重灾区。浅层有足够的信号,反而不容易坍塌 |
| 解决 | 正则化覆盖全部层,或者至少覆盖后2/3的层;深层还可以额外加残差缩放 |
八、坑4:FlashAttention和自定义正则化不兼容
| 要素 | 内容 |
|---|---|
| 现象 | 用 flash_attn 替换标准 attention 后,多样性正则化损失直接报错——拿不到完整的注意力权重矩阵 |
| 原因 | FlashAttention 是 IO-aware 的,不显式存储完整的 矩阵,而是分块计算。无法直接在训练时拿到 attn_weights 做正则化 |
| 解决 | 两种方案:(1)每隔N步用标准 attention 做一次前向拿到 attn_weights 计算正则化损失(内存开销大但可控);(2)改用 head 输出的相似度作为代理指标,不依赖注意力权重。推荐方案2,更工程化 |
九、坑5:监控指标设太高,天天被误报警告吵醒
| 要素 | 内容 |
|---|---|
| 现象 | 把注意力的健康阈值设成6.0,结果正常训练波动到5.5就告警,一个月收了80多条 false alarm |
| 原因 | 熵的理论最大值是 ,4096长度下约8.3。但实际训练中熵在4.5–7.0波动都是正常的,只有持续低于3.0且单调下降才需要警惕 |
| 解决 | 设置连续3个监控点都低于3.0才触发告警,避免单点波动误报 |
十、坑6:用了GQA后以为不会塌,结果更隐蔽了
| 要素 | 内容 |
|---|---|
| 现象 | 换成 GQA(Grouped Query Attention,如 Llama-2 用的)后,注意力熵看起来还行,但模型在长文档 QA 上掉点严重 |
| 原因 | GQA 把多个 query 头共享一组 KV 头,塌从”头间相似”变成了”组间相似”——每组内的 query 头学得几乎一样。原来的头多样性正则化检测不到这种坍塌模式 |
| 解决 | 对 GQA 需要监控组间的注意力模式差异,而不是头间。修改监控脚本的分组逻辑 |
十一、坑7:训到一半改参数,之前白训了
| 要素 | 内容 |
|---|---|
| 现象 | 训练到 15k 步发现注意力掉到 2.5,紧急加了 QK-Norm 继续训,结果 loss 直接跳变,模型开始输出乱码 |
| 原因 | QK-Norm 引入了新的可训练参数(LayerNorm 的 和 ),从 checkpoint 热重启时这些参数是随机初始化的,破坏了已有的注意力模式 |
| 解决 | 要么从头训,要么先做几千步的 “QK-Norm 预热”——冻结其他参数只训 QK-Norm 的参数,等注意力熵回升到 5.0 以上再解冻全模型 |
十二、坑8:上了优化后忘记关掉 attention dropout,两个机制打架
| 要素 | 内容 |
|---|---|
| 现象 | QK-Norm + 多样性正则化 + attention_dropout=0.1 一起上,训练速度慢 15%,验证 PPL 反而不如只开前两个 |
| 原因 | Attention dropout 本身就是给注意力加噪声来防止过拟合,但和多样性正则化的目标部分重叠,两者叠加产生了过度的随机扰动,模型难以收敛到稳定模式 |
| 解决 | 如果开了多样性正则化,attention_dropout 降到 0.05 或直接关掉。默认配置:多样性正则化 + attention_dropout=0,效果最好 |
十三、进阶选型:防塌方案怎么选?
| 方案 | 核心思路 | 防坍塌效果 | 额外开销 | 适用场景 |
|---|---|---|---|---|
| QK-Norm | 投影后归一化 Q 和 K | ★★★★ | 极小(2个 LN 参数) | 通用,首选方案 |
| 头多样性正则化 | JS 散度惩罚头间相似 | ★★★★★ | 中等(额外 loss 计算) | 头数多(≥32)时强烈推荐 |
| 残差缩放 | 注意力输出 × 0.8–0.9 | ★★★ | 零开销 | 深层坍塌特化治疗 |
| GQA/MQA | 减少 KV 头数 | ★★ | 负开销(加速推理) | 推理优化为主,防坍塌是副产品 |
| FlashAttention | IO 优化 + 数值稳定 | ★★ | 负开销(省显存) | 必备,但解决的是显存不是塌 |
我的推荐组合(黄金三角):QK-Norm(全层)+ 多样性正则化(,warmup=1000步)+ FlashAttention。这是目前在 7B 到 70B 模型上都验证过的方案。
十四、面试高频题:结合实战的标准答案
Q1:什么是注意力坍塌?怎么判断模型发生了注意力坍塌?
实战答案:注意力塌是指 Transformer 深层注意力分布退化——多头模式趋同或过度集中。判断标准三条:
- 深层注意力熵持续低于 3.0(4096序列下)且单调下降
- 不同头的注意力模式余弦相似度 > 0.7
- 模型在长序列任务上 PPL 明显劣于短序列
三条满足两条就基本确诊。我之前训的 7B 模型,最后 8 层熵值掉到 1.8,头间相似度 0.87,长文档 QA 直接废了。
Q2:QK 归一化为什么能防塌?和 Pre-LN 有什么区别?
实战答案:
- Pre-LN 是在 QKV 投影前归一化输入,统一的是”原材料”
- QK-Norm 是在投影后、每个头上对 Q 和 K 分别归一化,约束的是”点积前的向量范数”
关键差异:QK-Norm 直接控制 softmax 的输入尺度,让 的值始终在健康区间,不会出现极端值导致 softmax 饱和。这比 Pre-LN 更精准。代价是多了 个 LN 参数,基本可以忽略不计。
Q3:头多样性正则化的 λ 怎么调?设大了会怎样?
实战答案:
- λ 默认 0.03,从 0.01 开始网格搜索
- 设太大(> 0.1)模型会”为了不同而不同”,头之间强行拉开距离反而破坏语义建模,验证 PPL 暴涨
- 我踩过的坑:λ=0.1 时验证 PPL 从 10.2 涨到 18.5
- 建议配合 warmup 使用,前 1000 步 λ 从 0 线性增长到目标值,让模型先学会基本的注意力模式再加约束
Q4:FlashAttention 能解决注意力坍塌吗?
实战答案:不能。
- FlashAttention 解决的是显存和速度问题(把 的显存降到 )
- 但注意力塌是算法层面的 softmax 退化问题,两者正交
- 不过 FlashAttention 的数值精度略低于标准 attention,在某些边界 case 下可能略微加速塌——我见过一个模型用标准 attention 时深层熵 5.5,切成 FlashAttention 后降到 4.8,差异不大但确实存在,需要注意监控
Q5:除了 QK-Norm 和多样性正则化,还有什么防塌手段?
实战答案:还有三个工业界常用的:
- 残差缩放——注意力输出乘以 0.8–0.9 的因子,强制模型重视注意力分支而非残差捷径,特别适合深层
- 更大的初始化——适当增大 QKV 投影的初始化标准差,让早期训练的注意力更分散
- 头剪枝+重训——如果已经塌了,把高度相似的头合并或剪掉,用剩余的头重新微调
第三个方案比较激进但见效快,适合已经训了很久不想从头来的场景。
Q6(进阶):长序列场景下注意力塌有什么特殊之处?
实战答案:长序列下塌更严重,两个原因:
- softmax 的竞争池更大,赢家通吃效应更明显,少数 token 更容易”霸屏”
- RoPE 位置编码在远距离上旋转角度大,QK 点积的数值范围更不稳定
对于 32k+ 的超长序列,我建议:
- QK-Norm 的 eps 调到 1e-6(更敏感)
- 多样性正则化 λ 调到 0.05
- 一定要上滑动窗口注意力作为辅助——把注意力范围截断到局部窗口,减少 softmax 的竞争池大小
十五、关键结论速记
- 深层 < 3.0:连续 3 个监控点触发告警,单次波动不算
- QK-Norm:加在 Q/K 投影后,eps=1e-5,几乎零副作用
- 多样性正则化:λ=0.03,从 0.01 网格搜索,配合 1000 步 warmup
- 深层残差缩放:0.9,强制注意力分支”有发言权”
最后说下方案怎么选——给你一个我验证过的黄金组合:QK-Norm 全程覆盖 + 多样性正则化 λ=0.03 + warmup + FlashAttention。这个组合我在 7B 到 70B 的模型上都跑通了,能把深层注意力熵稳稳拖在 5.5 到 7 之间,头间相似度压到 0.4 以下,长序列的 PPL 改善 8–12 个百分点。
还有最最最关键的一点:监控、监控、还是监控。我看监控去训大模型,就像蒙着眼睛开高速。注意力熵大于 5.0 算健康,头间相似度小于 0.4 告警为止。别设太阴,结果是个狼来了。
你训模型的时候,被注意力坍塌搞崩过心态吗?评论区聊聊你的填坑故事。
相关笔记
- AI 大模型 MOC · ↪ 返回 Agent/MOC 索引