ResNet 完整知识体系 · 笔记整理

整理自 DeepSeek 对话,从姚顺宇人物背景出发,系统梳理 ResNet 的核心原理、设计细节、常见问题及改进方向。


一、人物背景:两位”姚顺”的区分

这两位名字相近、履历相似,但方向不同,经常被混淆。

姚顺宇(Shunyu Yao)— 理论物理转 AI

  • 学历:清华物理本科(特等奖学金)→ 斯坦福理论物理博士
  • 职业轨迹:Anthropic(参与 Claude 系列研发)→ 2025 年 9 月离职(约 40% 原因是反对公司将中国列为”敌对国家”的反华言论)→ 加入 Google DeepMind Gemini 团队
  • 核心方向:基础模型能力突破、复杂推理、AI Agent 认知架构(CoALA)
  • 代表工作:参与 Gemini 3 等基础模型研发
  • 转行原因:认为 AI 能像 17 世纪热力学那样通过”系统性实验”快速推动发展;AI 研究”不太需要脑子”,更看重细心和责任感

姚顺雨(Shunyu Yao)— 计算机科学家

  • 学历:清华姚班(计算机)→ 普林斯顿大学博士
  • 职业:腾讯首席 AI 科学家
  • 核心方向:语言智能体应用落地,被誉为”ReAct 之父”
  • 代表工作:
    • ReAct:让 AI 像人一样”思考 → 行动 → 观察”循环执行任务的框架
    • 思维树(ToT):让 AI 能像人一样探索多条思路、回溯错误的推理方法

一句话区分:姚顺雨发明了 ReAct,教 AI 怎么”用工具”;姚顺宇侧重把 AI 的”大脑”本身练得更强。


二、ResNet 是什么?

ResNet(残差网络)由微软研究院何恺明等人于 2015 年提出,核心创新是引入残差连接,解决了困扰学界的”网络退化”问题,并以 3.57% 错误率在 ImageNet 上超越人类水平夺冠。

背景:网络退化问题

单纯堆叠层数(如从 20 层增到 56 层),训练和测试误差反而升高——这并非过拟合,而是”退化”。

核心公式

ResNet 不直接拟合目标映射 H(x),而是让层去拟合残差:

F(x) = H(x) - x
最终输出:H(x) = F(x) + x

三、恒等映射:直觉理解

”恒等映射”是什么意思?

就是输入是什么,输出就原封不动是什么:x → x

快递比喻:

  • 没有恒等映射:快递员把包裹拿回分拣中心拆包重寄,麻烦且可能弄坏;
  • 有了恒等映射:快递员看一眼说”隔壁啊”,直接原封不动递过去。

在 ResNet 里具体指什么?

公式 H(x) = F(x) + x 中:

符号含义
x(输入)原始快递
F(x)(残差)网络学的”处理动作”
+ x(恒等映射)把输入原封不动加到输出上

没有 +x,网络必须完全靠自己学一个完美的 F(x) 变成 H(x),非常难。有了 +x,网络只需学输入和目标的差异(残差)。

识别熊猫例子:

  • 没残差:网络要费力地学”什么是熊猫”;
  • 有残差:输入已经很像熊猫了,网络只需学一个小调整,比如”把耳朵再涂黑一点”。若输入已完美,令 F(x) = 0,啥都不干就得到正确答案。

恒等映射就是给网络一个”保底选项”:这一层学不到东西就把输入原封不动传过去,保证效果至少不下降。


四、恒等映射如何解决梯度消失?

什么是梯度消失?

反向传播时,梯度逐层传递,每经过一层要乘该层参数。若参数都小于 1(如 0.5),到第 50 层就变成 0.5^50 ≈ 0,浅层学不到任何东西。

ResNet 的解法:+1 兜底

对 y = F(x) + x 求导:

∂y/∂x = ∂F(x)/∂x + 1

关键在于 +1:不管 F(x) 的梯度多小,总梯度里始终有一个 +1 在兜底。梯度可以跳过 F(x) 的所有层,从”直连通道”传回浅层。

网络类型梯度传播方式
普通网络w₁ × w₂ × w₃ × …(连乘,容易消失到 0)
ResNet1 + (可能很小的一堆乘积)(有 +1 兜底,永不消失)

通俗类比:普通网络像一串串联的门,每扇门关小一点,后面的光几乎为零;ResNet 像每隔一段就有一个”直通窗口”,光线永不衰减。


五、退化问题 ≠ 梯度消失(两个独立的坑)

常见误解

很多人以为”层数深了效果差”是梯度消失导致的。但实验发现:即使用了 BatchNorm、合理初始化、ReLU 等手段消除梯度消失,退化问题依然存在。

区别

问题表现本质
梯度消失训练慢,但理论上训练够久能收敛优化困难
退化问题训练充分了,深层网络上限反而比浅层低网络结构本身的问题

退化的根本原因

假设已有 20 层网络效果不错,想堆到 40 层。理想情况是让后 20 层”什么都不做”(F(x) = 0,输出 y = x)。

但现实是:让带 ReLU 的卷积层精确拟合出”什么都不做”,是非常不自然的事。网络会不自觉引入微小扰动,层数一多,扰动累积,效果下降。

ResNet 的解法:降低学习目标难度

目标难度
学 H(x) = x(恒等映射)非常难,反直觉
学 F(x) = 0(输出全零)容易,把权重往 0 推,ReLU 天然输出零

ResNet 把”很难的恒等映射问题”转化成了”很容易的零映射问题”。

总结:同一个设计,解决两个问题

问题ResNet 解法
梯度消失恒等映射提供 +1 直连通道,梯度直达浅层
退化问题改为拟合”输出 0”,目标从”复杂”变为”简单”

六、为什么不会”懒省事”全走恒等映射?

核心答案

因为”全部走捷径”无法降低损失函数。

若所有层都令 F(x) = 0,则 y = x,网络什么都没学。最终分类头面对原始像素,损失函数会极大——训练目标是最小化损失,网络被迫学习。

梯度机制的动态平衡

若某层彻底躺平(F(x) = 0),其参数梯度为 0,权重永远不更新。但若整体损失还很大,上游梯度会通过恒等映射继续传到浅层,迫使需要学习的层”醒来”。

训练是动态平衡过程:网络自动决定哪些层”干活”、哪些层”躺平”,目标是整体损失最小。

实验事实

训练阶段残差分支响应
训练初期响应较大,各层积极学习
训练后期部分层响应变小(选择偷懒),但并非全部归零
重要的层残差分支响应始终很大

类比:5 人项目组,组长(损失函数)只在乎最终产出。前面的人做好了,后面的人可以摸鱼;若前面没做好,后面必须出手补救,否则所有人都被罚。

恒等映射让”躺平”成为可能,但损失函数让”躺平”成为特权——只有当前面已经做得足够好时,你才有资格躺平。


七、动态按需分配为何比普通网络更快、效果更好?

普通网络的困境:每层都是”必修课”

  • 信息只有一条路,必须逐层通过;
  • 某一层学不好,错误累积并放大;
  • 浅层必须为深层”预留”合适的特征。

流水线比喻:5 人流水线,第 1 个人不知道第 5 个人最终要什么,一旦加工过头,后面难以补救。

训练时,梯度像”接力赛”:A → B → C → D,每一棒信号衰减,浅层要等很久才收到反馈。这就是普通网络很难做深的原因。

ResNet 的”选修课”模式

  • 信息有两条路:主干道(恒等映射)+ 选修课(残差分支);
  • 每一层可选择加工多少,甚至不加工;
  • 深层可以直接”看到”浅层信息。

新流水线:每个工人旁边有一条传送带,零件可以跳过工人直接到下一站。每个人只做额外优化,压力变小,整体效率更高。

为什么训练更快?

梯度从”接力赛”变成”广播”:每条路都有直达通道(+1),浅层几乎瞬间收到强信号,所有层可以同步学习。

为什么效果更好?

ResNet 本质是”隐式集成模型”:

堆叠 L 个块后:输出 = 输入 + ΣFᵢ(某中间状态)

维度普通网络ResNet
信息路径唯一路径,层层依赖指数级多条路径(2^L 种组合)
故障容忍任一层出错,全局受损可跳过坏层,整体仍有效
学习目标每层都要完美每层只要做”一点点改进”

ResNet 训练的不是”超长链条”,而是分布式修正系统,每一层让结果变好一点点,累积起来非常强大。

实验验证

研究人员随机删除 ResNet 的部分层(直接短路):

  • 即使删掉一半的层,精度下降也非常平缓;
  • 普通网络删掉中间一层,整个网络直接瘫痪。

这说明 ResNet 各层是”协作”而非”串联”,信息分布在整个网络中,不依赖任何单一层。


八、两种核心构件:Basic Block vs Bottleneck Block

Basic Block(基础块)

适用:ResNet-18、ResNet-34

结构(两个 3×3 卷积):

输入 x → Conv3×3 → BN → ReLU → Conv3×3 → BN → (+) → ReLU → 输出
              ↑____________________________________|
                         输入 x(恒等映射)

特点:参数量少,计算快,适合较浅网络。当输入输出通道数不一致时,残差连接需加 1×1 卷积做维度匹配。

Bottleneck Block(瓶颈块)

适用:ResNet-50、ResNet-101、ResNet-152

结构(1×1 → 3×3 → 1×1):

输入 x → Conv1×1(降维)→ BN+ReLU → Conv3×3 → BN+ReLU → Conv1×1(升维)→ BN → (+) → ReLU
              ↑_______________________________________________________________|
                                          输入 x

为什么叫”瓶颈”:中间 3×3 层通道数很小(如 64),前后的 1×1 层负责把通道数先降(256 → 64),再升回去(64 → 256),就像”细脖子”。

对比(以 ResNet-50 为例)

指标Basic BlockBottleneck Block
结构3×3 → 3×31×1 → 3×3 → 1×1
输入/输出通道64 → 64256 → 256
中间通道6464(瓶颈)
总计算量~73k~69k(反而更小)

为什么深层网络必须用 Bottleneck?

若 ResNet-50 用 Basic Block:

  • 每层 256 通道,两个 3×3 卷积,单块计算量 ≈ 1.18M,50 层会”爆炸”

用 Bottleneck:

  • 单块计算量 ≈ 69k,只有 Basic Block 的 1/17

各版本对比

模型构件参数量典型用途
ResNet-18Basic Block11.7M移动端、快速原型
ResNet-34Basic Block21.8M适中精度
ResNet-50Bottleneck25.6M工业界首选
ResNet-101Bottleneck44.5M高精度任务
ResNet-152Bottleneck60.2M医学图像、竞赛

九、ResNet 之后的改进方向

方向核心改进代表作
加宽少层多通道Wide ResNet
分组多组并行卷积ResNeXt
密集连接全层直连DenseNet
注意力动态加权重要特征SENet、CBAM
现代化吸收 Transformer 设计ConvNeXt

Wide ResNet(加宽,而非加深)

与其堆深度,不如把每层做”宽”。层数减少(如 28 层),但每层通道数增大 2–10 倍。参数量相近时,宽网络通常效果更好,且更容易训练。

ResNeXt(分组卷积)

在”深度”和”宽度”之外引入第三维——基数(分组数)。把卷积拆成多个并行小组(如 32 组),相当于”多个小 ResNet 并行后合并”。同样参数量下精度更高,结构更灵活。

DenseNet(密集连接)

不只跳一层,而是每层都直接连接到后面所有层:

  • ResNet:x_{l+1} = F(x_l) + x_l(跳一层)
  • DenseNet:x_l = F_l([x_0, x_1, ..., x_{l-1}])(前面所有层都拼进来)

优点:梯度流动极顺畅,参数量更小;缺点:内存占用高。

ResNet + Attention(SENet、CBAM)

让网络主动关注重要特征,忽略无关信息:

  • SENet(2017 ImageNet 冠军):在残差块里加”压缩-激励”模块,自动学习每个通道的权重;
  • CBAM:同时关注通道和空间位置。

小幅增加计算量,明显提升精度。

ResNet + Transformer(ConvNeXt)

把 Transformer 的设计理念”反向移植”回 ResNet,借鉴 Swin Transformer 架构(LayerNorm 前置、GELU 激活、大卷积核)。ConvNeXt 在相似计算量下追平甚至超过 Swin Transformer,证明”纯 CNN 还没死”。


总结:一句话理解 ResNet

恒等映射把网络从”强制链条”变成了”弹性协作系统”——每层只负责”让结果更好一点”,梯度可以直达浅层,任意层出问题都可以被绕过。所以训练更快、能做更深、效果更好。