4 MicroNet架构
文中总共描述了4种MicroNet模型的结构,FLOPs在6M到44M之间。它们由3种类型的Block组成,它们以不同的方式结合了Micro-Factorized pointwise和depthwise卷积。它们都使用dynamic ShiftMax作为激活函数。
4.1、Micro-Block-A
Micro-Block-A使用了微分解点态和深度卷积的精简组合。它在分辨率较高的低电平上是有效的。请注意,信道的数量是通过深度上的微分解卷积来扩展的,而通过组自适应卷积来压缩的。
4.2、Micro-Block-B
Micro-Block-B用于连接MicroBlock-A和Micro-Block-C。与Micro-Block-A不同的是,它使用了完全Micro-Factorized pointwise卷积,其中包括两个Group自适应卷积。前者压缩了通道数量,而后者则增加了通道数量。
4.3、Micro-Block-C
Micro-Block-C使用常规组合,将深度上的Micro-Factorized pointwise卷积连接起来。它被用于更深处的位置,因为它在通道融合(pointwise)上比lite组合花费更多的计算。当维度匹配时使用跳接。
每个微块有四个超参数:核大小k、输出通道数C、Micro-Factorized pointwise瓶颈处的缩减比R、2个Group自适应卷积的Group数对(G1,G2)。
4.4、Stem Layer
作者重新设计了Stem层,以满足低FLOPs的约束。它包括一个的卷积和一个的群卷积,然后是一个ReLU。第2次卷积将通道的数量增加了R倍。这大大节省了计算成本。
5 实验
5.1、ImageNet分类结果
下表2比较了4种不同的计算代价下最先进的ImgageNet分类。在这4个结果中MicroNet性能优于以前的工作。
5.2、激活函数实验
5.3、Pixel-Level分类
5.3.1 COCO keypoint detection
5.3.2 Semantic segmentation
参考
[1] MicroNet: Towards Image Recognition with Extremely Low FLOPs