ResNet 完整知识体系 · 笔记整理
整理自 DeepSeek 对话,从姚顺宇人物背景出发,系统梳理 ResNet 的核心原理、设计细节、常见问题及改进方向。
一、人物背景:两位”姚顺”的区分
这两位名字相近、履历相似,但方向不同,经常被混淆。
姚顺宇(Shunyu Yao)— 理论物理转 AI
- 学历:清华物理本科(特等奖学金)→ 斯坦福理论物理博士
- 职业轨迹:Anthropic(参与 Claude 系列研发)→ 2025 年 9 月离职(约 40% 原因是反对公司将中国列为”敌对国家”的反华言论)→ 加入 Google DeepMind Gemini 团队
- 核心方向:基础模型能力突破、复杂推理、AI Agent 认知架构(CoALA)
- 代表工作:参与 Gemini 3 等基础模型研发
- 转行原因:认为 AI 能像 17 世纪热力学那样通过”系统性实验”快速推动发展;AI 研究”不太需要脑子”,更看重细心和责任感
姚顺雨(Shunyu Yao)— 计算机科学家
- 学历:清华姚班(计算机)→ 普林斯顿大学博士
- 职业:腾讯首席 AI 科学家
- 核心方向:语言智能体应用落地,被誉为”ReAct 之父”
- 代表工作:
- ReAct:让 AI 像人一样”思考 → 行动 → 观察”循环执行任务的框架
- 思维树(ToT):让 AI 能像人一样探索多条思路、回溯错误的推理方法
一句话区分:姚顺雨发明了 ReAct,教 AI 怎么”用工具”;姚顺宇侧重把 AI 的”大脑”本身练得更强。
二、ResNet 是什么?
ResNet(残差网络)由微软研究院何恺明等人于 2015 年提出,核心创新是引入残差连接,解决了困扰学界的”网络退化”问题,并以 3.57% 错误率在 ImageNet 上超越人类水平夺冠。
背景:网络退化问题
单纯堆叠层数(如从 20 层增到 56 层),训练和测试误差反而升高——这并非过拟合,而是”退化”。
核心公式
ResNet 不直接拟合目标映射 H(x),而是让层去拟合残差:
F(x) = H(x) - x
最终输出:H(x) = F(x) + x
三、恒等映射:直觉理解
”恒等映射”是什么意思?
就是输入是什么,输出就原封不动是什么:x → x
快递比喻:
- 没有恒等映射:快递员把包裹拿回分拣中心拆包重寄,麻烦且可能弄坏;
- 有了恒等映射:快递员看一眼说”隔壁啊”,直接原封不动递过去。
在 ResNet 里具体指什么?
公式 H(x) = F(x) + x 中:
| 符号 | 含义 |
|---|---|
x(输入) | 原始快递 |
F(x)(残差) | 网络学的”处理动作” |
+ x(恒等映射) | 把输入原封不动加到输出上 |
没有 +x,网络必须完全靠自己学一个完美的 F(x) 变成 H(x),非常难。有了 +x,网络只需学输入和目标的差异(残差)。
识别熊猫例子:
- 没残差:网络要费力地学”什么是熊猫”;
- 有残差:输入已经很像熊猫了,网络只需学一个小调整,比如”把耳朵再涂黑一点”。若输入已完美,令
F(x) = 0,啥都不干就得到正确答案。
恒等映射就是给网络一个”保底选项”:这一层学不到东西就把输入原封不动传过去,保证效果至少不下降。
四、恒等映射如何解决梯度消失?
什么是梯度消失?
反向传播时,梯度逐层传递,每经过一层要乘该层参数。若参数都小于 1(如 0.5),到第 50 层就变成 0.5^50 ≈ 0,浅层学不到任何东西。
ResNet 的解法:+1 兜底
对 y = F(x) + x 求导:
∂y/∂x = ∂F(x)/∂x + 1
关键在于 +1:不管 F(x) 的梯度多小,总梯度里始终有一个 +1 在兜底。梯度可以跳过 F(x) 的所有层,从”直连通道”传回浅层。
| 网络类型 | 梯度传播方式 |
|---|---|
| 普通网络 | w₁ × w₂ × w₃ × …(连乘,容易消失到 0) |
| ResNet | 1 + (可能很小的一堆乘积)(有 +1 兜底,永不消失) |
通俗类比:普通网络像一串串联的门,每扇门关小一点,后面的光几乎为零;ResNet 像每隔一段就有一个”直通窗口”,光线永不衰减。
五、退化问题 ≠ 梯度消失(两个独立的坑)
常见误解
很多人以为”层数深了效果差”是梯度消失导致的。但实验发现:即使用了 BatchNorm、合理初始化、ReLU 等手段消除梯度消失,退化问题依然存在。
区别
| 问题 | 表现 | 本质 |
|---|---|---|
| 梯度消失 | 训练慢,但理论上训练够久能收敛 | 优化困难 |
| 退化问题 | 训练充分了,深层网络上限反而比浅层低 | 网络结构本身的问题 |
退化的根本原因
假设已有 20 层网络效果不错,想堆到 40 层。理想情况是让后 20 层”什么都不做”(F(x) = 0,输出 y = x)。
但现实是:让带 ReLU 的卷积层精确拟合出”什么都不做”,是非常不自然的事。网络会不自觉引入微小扰动,层数一多,扰动累积,效果下降。
ResNet 的解法:降低学习目标难度
| 目标 | 难度 |
|---|---|
学 H(x) = x(恒等映射) | 非常难,反直觉 |
学 F(x) = 0(输出全零) | 容易,把权重往 0 推,ReLU 天然输出零 |
ResNet 把”很难的恒等映射问题”转化成了”很容易的零映射问题”。
总结:同一个设计,解决两个问题
| 问题 | ResNet 解法 |
|---|---|
| 梯度消失 | 恒等映射提供 +1 直连通道,梯度直达浅层 |
| 退化问题 | 改为拟合”输出 0”,目标从”复杂”变为”简单” |
六、为什么不会”懒省事”全走恒等映射?
核心答案
因为”全部走捷径”无法降低损失函数。
若所有层都令 F(x) = 0,则 y = x,网络什么都没学。最终分类头面对原始像素,损失函数会极大——训练目标是最小化损失,网络被迫学习。
梯度机制的动态平衡
若某层彻底躺平(F(x) = 0),其参数梯度为 0,权重永远不更新。但若整体损失还很大,上游梯度会通过恒等映射继续传到浅层,迫使需要学习的层”醒来”。
训练是动态平衡过程:网络自动决定哪些层”干活”、哪些层”躺平”,目标是整体损失最小。
实验事实
| 训练阶段 | 残差分支响应 |
|---|---|
| 训练初期 | 响应较大,各层积极学习 |
| 训练后期 | 部分层响应变小(选择偷懒),但并非全部归零 |
| 重要的层 | 残差分支响应始终很大 |
类比:5 人项目组,组长(损失函数)只在乎最终产出。前面的人做好了,后面的人可以摸鱼;若前面没做好,后面必须出手补救,否则所有人都被罚。
恒等映射让”躺平”成为可能,但损失函数让”躺平”成为特权——只有当前面已经做得足够好时,你才有资格躺平。
七、动态按需分配为何比普通网络更快、效果更好?
普通网络的困境:每层都是”必修课”
- 信息只有一条路,必须逐层通过;
- 某一层学不好,错误累积并放大;
- 浅层必须为深层”预留”合适的特征。
流水线比喻:5 人流水线,第 1 个人不知道第 5 个人最终要什么,一旦加工过头,后面难以补救。
训练时,梯度像”接力赛”:A → B → C → D,每一棒信号衰减,浅层要等很久才收到反馈。这就是普通网络很难做深的原因。
ResNet 的”选修课”模式
- 信息有两条路:主干道(恒等映射)+ 选修课(残差分支);
- 每一层可选择加工多少,甚至不加工;
- 深层可以直接”看到”浅层信息。
新流水线:每个工人旁边有一条传送带,零件可以跳过工人直接到下一站。每个人只做额外优化,压力变小,整体效率更高。
为什么训练更快?
梯度从”接力赛”变成”广播”:每条路都有直达通道(+1),浅层几乎瞬间收到强信号,所有层可以同步学习。
为什么效果更好?
ResNet 本质是”隐式集成模型”:
堆叠 L 个块后:输出 = 输入 + ΣFᵢ(某中间状态)
| 维度 | 普通网络 | ResNet |
|---|---|---|
| 信息路径 | 唯一路径,层层依赖 | 指数级多条路径(2^L 种组合) |
| 故障容忍 | 任一层出错,全局受损 | 可跳过坏层,整体仍有效 |
| 学习目标 | 每层都要完美 | 每层只要做”一点点改进” |
ResNet 训练的不是”超长链条”,而是分布式修正系统,每一层让结果变好一点点,累积起来非常强大。
实验验证
研究人员随机删除 ResNet 的部分层(直接短路):
- 即使删掉一半的层,精度下降也非常平缓;
- 普通网络删掉中间一层,整个网络直接瘫痪。
这说明 ResNet 各层是”协作”而非”串联”,信息分布在整个网络中,不依赖任何单一层。
八、两种核心构件:Basic Block vs Bottleneck Block
Basic Block(基础块)
适用:ResNet-18、ResNet-34
结构(两个 3×3 卷积):
输入 x → Conv3×3 → BN → ReLU → Conv3×3 → BN → (+) → ReLU → 输出
↑____________________________________|
输入 x(恒等映射)
特点:参数量少,计算快,适合较浅网络。当输入输出通道数不一致时,残差连接需加 1×1 卷积做维度匹配。
Bottleneck Block(瓶颈块)
适用:ResNet-50、ResNet-101、ResNet-152
结构(1×1 → 3×3 → 1×1):
输入 x → Conv1×1(降维)→ BN+ReLU → Conv3×3 → BN+ReLU → Conv1×1(升维)→ BN → (+) → ReLU
↑_______________________________________________________________|
输入 x
为什么叫”瓶颈”:中间 3×3 层通道数很小(如 64),前后的 1×1 层负责把通道数先降(256 → 64),再升回去(64 → 256),就像”细脖子”。
对比(以 ResNet-50 为例)
| 指标 | Basic Block | Bottleneck Block |
|---|---|---|
| 结构 | 3×3 → 3×3 | 1×1 → 3×3 → 1×1 |
| 输入/输出通道 | 64 → 64 | 256 → 256 |
| 中间通道 | 64 | 64(瓶颈) |
| 总计算量 | ~73k | ~69k(反而更小) |
为什么深层网络必须用 Bottleneck?
若 ResNet-50 用 Basic Block:
- 每层 256 通道,两个 3×3 卷积,单块计算量 ≈ 1.18M,50 层会”爆炸”
用 Bottleneck:
- 单块计算量 ≈ 69k,只有 Basic Block 的 1/17
各版本对比
| 模型 | 构件 | 参数量 | 典型用途 |
|---|---|---|---|
| ResNet-18 | Basic Block | 11.7M | 移动端、快速原型 |
| ResNet-34 | Basic Block | 21.8M | 适中精度 |
| ResNet-50 | Bottleneck | 25.6M | 工业界首选 |
| ResNet-101 | Bottleneck | 44.5M | 高精度任务 |
| ResNet-152 | Bottleneck | 60.2M | 医学图像、竞赛 |
九、ResNet 之后的改进方向
| 方向 | 核心改进 | 代表作 |
|---|---|---|
| 加宽 | 少层多通道 | Wide ResNet |
| 分组 | 多组并行卷积 | ResNeXt |
| 密集连接 | 全层直连 | DenseNet |
| 注意力 | 动态加权重要特征 | SENet、CBAM |
| 现代化 | 吸收 Transformer 设计 | ConvNeXt |
Wide ResNet(加宽,而非加深)
与其堆深度,不如把每层做”宽”。层数减少(如 28 层),但每层通道数增大 2–10 倍。参数量相近时,宽网络通常效果更好,且更容易训练。
ResNeXt(分组卷积)
在”深度”和”宽度”之外引入第三维——基数(分组数)。把卷积拆成多个并行小组(如 32 组),相当于”多个小 ResNet 并行后合并”。同样参数量下精度更高,结构更灵活。
DenseNet(密集连接)
不只跳一层,而是每层都直接连接到后面所有层:
- ResNet:
x_{l+1} = F(x_l) + x_l(跳一层) - DenseNet:
x_l = F_l([x_0, x_1, ..., x_{l-1}])(前面所有层都拼进来)
优点:梯度流动极顺畅,参数量更小;缺点:内存占用高。
ResNet + Attention(SENet、CBAM)
让网络主动关注重要特征,忽略无关信息:
- SENet(2017 ImageNet 冠军):在残差块里加”压缩-激励”模块,自动学习每个通道的权重;
- CBAM:同时关注通道和空间位置。
小幅增加计算量,明显提升精度。
ResNet + Transformer(ConvNeXt)
把 Transformer 的设计理念”反向移植”回 ResNet,借鉴 Swin Transformer 架构(LayerNorm 前置、GELU 激活、大卷积核)。ConvNeXt 在相似计算量下追平甚至超过 Swin Transformer,证明”纯 CNN 还没死”。
总结:一句话理解 ResNet
恒等映射把网络从”强制链条”变成了”弹性协作系统”——每层只负责”让结果更好一点”,梯度可以直达浅层,任意层出问题都可以被绕过。所以训练更快、能做更深、效果更好。