[深度学习]残差连接

📖 什么是残差连接

• 残差连接是深度学习里的一种 网络结构设计技巧，最早在 ResNet（残差网络） 中提出。
• 它的核心思想是： 👉 让输入绕过若干层神经网络，直接加到输出上。

公式：

y = F(x) + x

其中：

• x = 输入
• F(x) = 若干层神经网络的变换
• y = 输出（包含了原始输入 + 新学到的变化）

📌 为什么要用残差连接

1. 缓解梯度消失/爆炸

   • 在非常深的神经网络里，梯度可能传不下去，导致训练困难。
   • 残差连接给梯度提供了一条“捷径”，更容易训练。

2. 避免退化问题

   • 网络越深，不一定越好，有时反而性能下降。
   • 残差连接让深层网络至少能“模仿浅层网络”，避免性能变差。

3. 更易学习

   • 网络不需要学完整的映射 H(x)，只需学“残差” F(x) = H(x) - x，任务更简单。

🎯 直观理解

• 没有残差：网络必须学会 从 0 到目标函数 的完整映射。
• 有了残差：网络只需在“已有的输入基础上，做一些修正”。

👉 就像写作文：不是从零开始写，而是拿一篇草稿（输入）做修改（残差），效率更高。

✅ 一句话总结

残差连接就是在网络里给输入开一条“捷径”，把输入直接加到输出上，帮助训练更深的神经网络。