提升模型的表示能力的结构或方式

1.“split-transform-merge”结构

这个概念来源于ResNeXt(2017年)，在文中作了如下解释。

1） Split：将向量x分成低维嵌入表示；

2） Transform：每个低维特征经过一个线性变换；

3） Merge：通过单位加合成最后的输出；

 

Inception系列就是采用了这种策略的一个结构，在Inception模块中，Split采用的是1x1降维的方式，Transform采用卷积，Merge采用Concate的方式。通过 ”split-transform-merge”这种策略，使得模型可以以较少的参数和计算量，实现更深更大模型才具备的特征表示能力。

在ResNeXt中提到，基数（cardinality，也就是分支数）增多是一种比加深加宽网络更有效的方式提升精度。基于这一点，在PELEE网络中，就将DenseNet中的结构从单路变成双路的方式来改进模型。

 

2. 特征复用（feature reuse）

 

传统的卷积网络在一个前向过程中每层只有一个连接，ResNet增加了残差连接从而增加了信息从一层到下一层的流动。FractalNets重复组合几个有不同卷积块数量的并行层序列，增加名义上的深度，却保持着网络前向传播短的路径。相类似的操作还有Stochastic depth和Highway Networks，DenseNet等。

这些模型都显示一个共有的特征，缩短前面层与后面层的路径，其主要的目的都是为了增加不同层之间的信息流动，使用的方式就是特征复用。

 

特征复用的实现方式有以下几种：残差连接；feature maps留下一半进入下一层；feature maps通过不同的卷积核数量的并行层序列。

残差连接：采用直接相加的方式。

 

feature maps留下一半进入下一层：CSPNet。

feature maps通过不同的卷积核数量的并行层序列：FractalNets。

模型的设计原则

在Inception系列的第三篇论文里总结了四条CNN设计的四条原则。

 

1. 避免表示瓶颈，特别是在网络的浅层。

一个前向网络每层表示的尺寸应该是从输入到输出逐渐变小的。以下图为例，按照左边第一种的方式进行下采样，将会出现表示瓶颈。为了避免这个问题，提出了第四个图所示的结构来进行降采样。

2. 高维度的表示很容易在网络中处理，增加激活函数的次数会更容易解析特征，也会使网络训练的更快。

 

3. 可以在较低维的嵌入上进行空间聚合，而不会损失很多表示能力。

例如，在执行更分散（例如3×3）的卷积之前，可以在空间聚集之前（浅层）减小输入表示的尺寸，而不会出现严重的不利影响。

我们假设这样做的原因是，如果在空间聚合环境中（中高层）使用输出，则相邻单元之间的强相关性会导致在尺寸缩减期间信息损失少得多。鉴于这些信号应易于压缩，因此减小尺寸甚至可以促进更快的学习。

 

4. 平衡网络的宽度和深度。

通过平衡每个阶段的滤波器数量和网络深度，可以达到网络的最佳性能。增加网络的宽度和深度可以有助于提高网络质量。但是，如果并行增加两者，则可以达到恒定计算量的最佳改进。因此，应在网络的深度和宽度之间以平衡的方式分配计算预算。

 

5. 此外再补充一条关于池化的使用。

在网络的特征提取部分，使用最大池化。在分类部分，使用平均池化。具体原因与细节，请阅读CV技术指南中的《池化技术总结》。

 

 

轻量化模型设计原则

 

1. 改进底层实现方式。

如sigmoid函数在实现过程中采用近似的方式，不仅很复杂，还会导致精度损失，因此MobileNet_v3中提出了h-swish非线性激活函数，这个函数的特点就是底层实现很简单，也不会导致推理阶段的精度损失。

 

2. 减少参数量。

基于这一原则的方式目前有1)使用深度可分离卷积；2)使用分解卷积；3)使用分组卷积；4)使用特征表示能力强的结构；5)使用1x1卷积代替3x3卷积；

 

3. 减少计算量。

第二条中的五种方式都具有减少计算量的作用，此外，特征复用也具备减少计算量的作用。

 

4. 降低实际运行时间。

下面提到ShuffleNet_v2中的四条原则就是基于这一点。

 

在ShuffleNet的第二篇论文里总结了四条实现降低模型实际运行时间的原则。

MAC: memory access cost

 

1. 卷积层输入输出通道数相同时，MAC最小。

为简化计算表达式，这里使用1x1卷积来进行理论上的推导。

对于空间大小为 h,w的特征图，输入和输出通道数分别为c1和c2,使用1x1卷积, 则FLOPs为B = h x w x c1 x c2。而MAC = hw(c1 + c2 ) + c1 x c2。

这里hwc1为输入特征图内存访问成本，hwc2为输出特征图内存访问时间成本，c1xc2x1x1为卷积核内存访问时间成本。

 

将B表达式代入MAC表达式中，并根据不等式定理，可有如下不等式：

由此式可知，MAC存在下限，当c1 = c2时，MAC取最小值。

这种方式主要指模块的输入输出通道数相同，并非单纯是一层卷积层的输入输出。

 

2. 分组卷积的分组数越大，MAC越大。

分组卷积在一方面，使得在相同FLOPs下，分组数越大，在通道上的密集卷积就会越稀疏，模型精度也会增加，在另一方面，更多的分组数导致MAC增加。

使用分组卷积的FLOPs表达式为B=h w c1 c2 /g , MAC表达式如下：

3. 网络支路会降低模型的并行度。

前面提到当网络支路数量增加时，会提高模型的特征表示能力，但同时也降低了效率，这是因为支路对GPU并行运算来说是不友好的，此外，它还引入了额外的开销，如内核启动与同步。

 

4. Element-wise操作不可忽视。

Element-wise操作在GPU上占的时间是相当多的。Element-wise操作有ReLU, AddTensor, AddBias等。它们都有比较小的FLOPs，却有比较大的MAC。特别地，depthwise conv也可以认为是一个Element-wise操作，因为它有较大的MAC/FLOPs比值。

 

总结：《CNN结构演变总结》这个系列对目前神经网络的结构设计部分进行了比较完整的总结，但神经网络不仅仅包括结构部分，此外还包括激活函数，训练技巧，避免过拟合的方法，学习方式等诸多内容，在后续的总结系列文章中将会对这些内容进行总结，将放在CV技术指南的CV技术总结部分。