卷积神经网络的训练与优化
在深度学习中，卷积神经网络（ConvNet）的训练和优化是构建高效模型的关键环节。下面将详细介绍训练ConvNet的相关方法和技巧。
Dropout正则化
在训练神经网络时，为防止过拟合，常采用Dropout方法。传统方法是多次运行网络获取结果，但效率低下。更高效的方式是在测试时仅进行一次前向传播，同时对Dropout门的输出进行缩放。具体来说，Dropout门在测试时作为缩放器而非阻断器，将神经元输出乘以缩放因子β后传递到下一层。
假设一个神经元连接到一个Dropout阻断器，对于输入$x_i$，神经元输出为$z$。由于神经元本身无随机性，输入$x_i$时始终输出$z$。但经过Dropout阻断器时，有概率$p$被阻断。若进行$N$次前向传播，期望$(1 - p)×N$次$z$通过阻断器，$p×N$次被阻断（即通过值为0）。则Dropout门的平均值为：
[
\frac{(1 - p)×N×z + p×N×0}{N} = (1 - p)×z
]
因此，测试时无需多次运行网络，只需将β设为$1 - p$，对连接到Dropout层的输出神经元进行缩放。此时，Dropout门充当缩放器。
Dropout是正则化神经网络（包括ConvNet）的有效手段。通常，ConvNet中的Dropout层置于全连接层之后，但并非绝对，也可将Dropout层连接到输入以生成噪声输入。Dropout比率$p$通常设为0.5，但无理论证明该值最优，可从$p = 0.5$开始，利用开发集进行调整。
混合正则化
可以结合多种正则化方法训练ConvNet，如同时使用L2正则化和Dr
