GoogLeNet
GoogLeNet依然是：没有最深，只有更深。
主要的创新在于他的Inception，这是一种网中网（Network In Network）的结构，即原来的结点也是一个网络。Inception一直在不断发展，目前已经V2、V3、V4了，感兴趣的同学可以查阅相关资料。Inception的结构如图9所示，其中1*1卷积主要用来降维，用了Inception之后整个网络结构的宽度和深度都可扩大，能够带来2-3倍的性能提升。
Inception结构
Inception模型优势：
采用了NIN网络提出的1x1卷积核，性价比高，用很少的计算量既可以增加一层的特征变换和非线性变换。 提出Batch Normalization，通过一定的手段，把每层神经元的输入值分布拉到均值0方差1的正态分布，使其落入激活函数的敏感区，避免梯度消失，加快收敛。 引入Inception module，4个分支结合的结构，每个分支采用1x1的卷积核。 去除了最后的全连接层，改用全局平均池化层来代替（图像尺寸变为1x1），即大大减少计算量。
ResNet
网络结构如图所示。
ResNet依然是：没有最深，只有更深（152层）。听说目前层数已突破一千。
主要的创新在残差网络，如图11所示，其实这个网络的提出本质上还是要解决层次比较深的时候无法训练的问题。这种借鉴了Highway Network思想的网络相当于旁边专门开个通道使得输入可以直达输出，而优化的目标由原来的拟合输出H(x)变成输出和输入的差H(x)-x，其中H(X)是某一层原始的的期望映射输出，x是输入。
总结
Deep Learning一路走来，大家也慢慢意识到模型本身结构是Deep Learning研究的重中之重，而本文回顾的LeNet、AlexNet、GoogLeNet、VGG、ResNet又是经典中的经典。
随着2012年AlexNet的一举成名，CNN成了计算机视觉应用中的不二选择。目前，CNN又有了很多其他花样，比如R-CNN系列。
