关于如何使用Deep Network Designer,大家可以打开自己的MATLAB,在APP一栏中找到Deep Network Designer点击打开即可。使用的具体流程详见我在介绍LeNet5一文中,这里就不在赘述了。地址: www.jianshu.com/p/86f591c44…
Deep Network Designer
AlexNet
网络流程序图
网络参数明细图
AlexNet 是 vgg 网络和 resten 网络系列的基石。其网络架构中新颖的特征如下所示
1.以ReLu替代sigmoid和tanh函数。实践证明这样可以使网络更快收敛
2.其中最大池化( Max pooling)的概念也是在AlexNet提出的,即对每一个邻近像素组成的"池子",选取像素最大值作为输出。在LeNet中,池化的像素是不重叠的;而在 AlexNet 中进行的是有重叠的池化。(PS:我在介绍LeNet中的池化采用的也是最大池化)大量的实践表明,有重叠的最大池化能够很好的克服过拟合问题,提升系统性能。
3.随机丢弃(Dropout)为了避免系统参数更新过快导致的过拟合,每一次利用训练样本更新参数的时候,随机“丢弃”一定比例的神经元,被丢弃的神经元不再参与训练过程,输入和输出该神经元的权重系数也不做更新。这样每次训练时训练的网络构架都不一样,而这些不同的网络构架却分享共同训练的权重系数。实践表明,随机丢弃的技术技术减缓了网络收敛度,也大概率避免了过拟合的发生。
4.在多个GPU上训练。单个GPU存储空间有限,使用两块GPU,在每个GPU上存储一半的kernels,这两块GPU在特定层上通信