deep-learning-model-brief

深度学习模型概要

经典神经网络

LENET

1. 采用了3层的序列组合：卷积、下采样（池化）、非线性映射(激活函数)
2. 使用卷积提取空间特征
3. 使用空间的映射均值进行下采样
4. 使用tanh或sigmoid进行非线性映射
5. 使用多层感知机（MLP）作为最终的分类器
6. 层间稀疏连接矩阵避免巨大计算开销

ALEXNET

1. 使用Relu激活函数，使模型收敛速度更快

2. 在多个GPU上进行模型训练

3. 使用局部响应归一化（LRN)，结果作为Relu输入可以有效降低错误率

   LRN后续被证明作用不大，被批量归一化（BN）逐渐代替

4. 使用了重叠最大池化，避免了平均池化的池化效应

5. 使用了dropout，避免模型过拟合

   后续证明dropout等价于一个正则项的效果，效果接近L2正则项（weight decay)

6. 首次使用了数据增强

ZFNet

1. ZFNet是微调的ALEXNet，并通过反卷积可视化各层的输出特征图，进一步解释了卷积操作在大型网络效果显著的原因

NIN(Network In Network)

1. NIN的网络结构由三个多层感知机堆叠而成
2. NIN通过引入子网络结构的方式代替了纯卷积的线性映射部分，激发后续更复杂卷积神经网络结构设计
3. NIN使用多层感知机代替经典卷积的滤波操作，由于MLP对局部特征进行的非线性映射，这样不但有效减少卷积核数量过多导致的参数暴涨问题，还引入了非线性映射提高模型的抽象能力
4. 使用全局平均池化代替最后一层的全连接层，有效减少参数量（池化层没有训练参数），同时池化层用到了整个特征图的信息，所得到的结果可以直接作为对应类别置信度
5. 第一次出现1x1卷积，这里主要不是用于降维，而是利用后续的激活函数增强模型的非线性映射，并实现了将不同通道的特征可以交互整合

VGGNet

1. 使用小尺寸卷积组合代替大尺寸卷积，如模型中使用2个3x3卷积有与5x5卷积相同的感受野，3个3x3卷积有与7x7卷积相同的感受野，这样的连接方式使得网络参数量更小，且多层激活函数使得网络特征学习能力更强
2. 模型训练过程中使用多尺度变换进行数据增强，使得模型不容易过拟合
3. VGGNet在训练时先训练浅层的的简单网络VGG11，再复用VGG11的权重来初始化VGG13，如此反复训练并初始化VGG19，能够使训练时收敛的速度更快

GoogLeNet

1. GoogLeNet的最核心部分是其内部子网络层Inception，结构灵感来自NIN
2. GoogLeNet相比于之前的CNN网络，不仅在深度方面进行了拓展，还在宽度方面进行了拓展，整个网络由多个块状子网络堆叠而成
3. 采用了不同尺寸的卷积核意味着不同大小的感受野，最后的拼接意味着不同尺度特征的融合
4. 之所以卷积核大小设置为1，3，5，主要是设置padding为0，1，2和stride为1后可以方便对齐，这样卷积后可以得到相同维度的特征
5. 随着网络深度增加，感受野增大，大尺寸卷积比例增加，因此模型采用1x1卷积进行降维操作，减少模型参数量

ResNet

1. 引入"残差"概念，解决了退化问题，即当网络变深了错误率却提高了这个问题