巧借Deep Network Designer分析经典网络结构——AlexNet

关于如何使用Deep Network Designer，大家可以打开自己的MATLAB，在APP一栏中找到Deep Network Designer点击打开即可。使用的具体流程详见我在介绍LeNet5一文中，这里就不在赘述了。地址： www.jianshu.com/p/86f591c44…

Deep Network Designer

AlexNet

网络流程序图

网络参数明细图

AlexNet 是 vgg 网络和 resten 网络系列的基石。其网络架构中新颖的特征如下所示

1.以ReLu替代sigmoid和tanh函数。实践证明这样可以使网络更快收敛

2.其中最大池化（ Max pooling）的概念也是在AlexNet提出的，即对每一个邻近像素组成的"池子"，选取像素最大值作为输出。在LeNet中，池化的像素是不重叠的；而在 AlexNet 中进行的是有重叠的池化。（PS:我在介绍LeNet中的池化采用的也是最大池化）大量的实践表明，有重叠的最大池化能够很好的克服过拟合问题，提升系统性能。

3.随机丢弃（Dropout）为了避免系统参数更新过快导致的过拟合，每一次利用训练样本更新参数的时候，随机“丢弃”一定比例的神经元，被丢弃的神经元不再参与训练过程，输入和输出该神经元的权重系数也不做更新。这样每次训练时训练的网络构架都不一样，而这些不同的网络构架却分享共同训练的权重系数。实践表明，随机丢弃的技术技术减缓了网络收敛度，也大概率避免了过拟合的发生。

4.在多个GPU上训练。单个GPU存储空间有限,使用两块GPU,在每个GPU上存储一半的kernels,这两块GPU在特定层上通信