【医学图像算法手册004】ResNet 与 DenseNet 的结构原理与医学图像应用
概述
在医学图像分析中，卷积神经网络通常需要具备较大的感受野和较强的特征表达能力，以刻画器官结构、病灶形态及其上下文关系。单纯通过增加网络深度来提升表达能力，往往会引入训练不稳定和性能退化问题。ResNet与DenseNet通过引入结构性连接机制，从网络拓扑层面缓解了上述问题，已成为医学图像特征提取中最常用的两类骨干网络。
一、深层网络的退化问题及其在医学图像中的表现
1.1 网络退化问题的形式化描述
设深度卷积网络由LLL个非线性映射构成，其中lll层的输出xl\mathbf{x}_lxl为：
xl=Fl(xl−1),l=1,…,L\mathbf{x}_l = \mathcal{F}_l(\mathbf{x}_{l-1}), \quad l = 1, \dots, Lxl=Fl(xl−1),l=1,…,L
在网络训练的反向传播过程中，关于初始输入x0\mathbf{x}_0x0的损失函数L\mathcal{L}L梯度为多层导数的连乘：
∂L∂x0=∏l=1L∂Fl∂xl−1\frac{\partial \mathcal{L}}{\partial \mathbf{x}_0} = \prod_{l=1}^{L} \frac{\partial \mathcal{F}_l}{\partial \mathbf{x}_{l-1}}∂x0∂L=l=1∏L∂xl−1
