参考论文：Deep Residual Learning for Image Recognition这篇文章我以前也翻译过，但当时感觉就大概了解了一下，由于后面好多东西都需要用到残差，就再回来看看。
1、残差块
上图中的weight layer是3*3的卷积层；
F(x)表示经过连个卷积层计算后得到的结果;
identity表示“恒等映射”，也成为“shortcut connection”，说白了就是把x的值不做任何处理直接传过去。
最后计算F(x)+x，这里的F(x)跟x是种类相同的信号，所以其对应位置进行相加。
这里残差F(x)与输入x的维度一致才能实现相加，如果不一致，可以使用shortcur connection执行一个线性投影以匹配shape
2、残差网络优势
- 易于优化、收敛
- 解决网络推化问题
- 网络的层数可以很深，准确率大大提升
3、带残差与不带残差的结构对比
4、残差分支的下采样
当残差分支出出现下采样时，对于short connection有两种方案：
- A方案：对多出来的通道使用padding补零填充
- B方案：用1*1卷积升维
不管采取哪种方案，shortcut分支第一个卷积层步长都为2
5、ResNet各层参数配置
注意，这里18-layer和34-layer的搭建方式一致，50-layer、101-layer、152-layer的搭建方式一致。
上图左边为ResNet18和ResNet34的残差快，右边为ResNet50/101/152对应的残差快。
5.1 ResNet18/34
图片来源：6.1 ResNet网络结构，BN以及迁移学习详解
实线表示输入和输出的shape相同，虚线表示输入和输出的shape不一致，需要使用1*1卷积保持维度相等才能执行Add操作。
5.2 ResNet50/101/152
其实也不是非要使用
1*1卷积进行维度变换，原论文作者给出了三种解决方案：
- A 所有shortcut物额外参数，升维时用padding补零
- 平常的shrotcut用identity mapping ,升维时用
1*1卷积- 所有的shortcut都使用
1*1卷积。
6、模型复现
6.1 ResNet18
实线表示维度相同，虚线表示维度不同，需要使用1*1卷积调整维度。结合下表看
对于ResNet18和ResNet34,我们发现除过conv2_x都是实现连接之外，conv3_x、copnv4_x、conv5_x的第一个卷积都是虚线连接，即输入和输出的shape不一致，需要使用1*1卷积保持维度一致之后才能相加。
ResNet18代码复现：
import tensorflow as tf
from tensorflow.keras.layers import *
from tensorflow.keras.models import Model
from plot_model import plot_model
image_size=224
num_classes=1000
# 定义残差单元
# 定义残差单元
# residual_path决定是否需要1*1卷积操作，保证x能和F(x)维度相同
def block(x, filters, strides=1,residual_path=False):
# projection shortcut
if residual_path:
shortcut = Conv2D(filters, kernel_size=1, strides=strides, padding='same',use_bias=False)(x)
# epsilon为BN公式中防止分母为零的值
shortcut = BatchNormalization(epsilon=1.001e-5)(shortcut)
else:
# identity_shortcut
shortcut = x
# 2个卷积层
x = Conv2D(filters=filters, kernel_size=3, strides=strides, padding='same',use_bias=False)(x)
x = BatchNormalization(epsilon=1.001e-5)(x)
x = Activation('relu')(x)
x = Conv2D(filters=filters, kernel_size=3, strides=1, padding='same',use_bias=False)(x)
x = BatchNormalization(epsilon=1.001e-5)(x)
x = Add()([x, shortcut])
x = Activation('relu')(x)
return x
# 堆叠残差单元
# 从第二个block开始，每次的第一个输入和输出维度不相同，需要1*1卷积(虚线连接)
def stack(x, filters, blocks):
x = block(x, filters, strides=2,residual_path=True)
for i in range(blocks - 1):
x = block(x, filters,residual_path=False)
return x
# 第一个block块的输入和输出维度相同(实线连接)
def stack_conv2_x(x,filters,blocks):
for i in range(blocks):
x=block(x,filters,residual_path=False)
return x
# 定义ResNet18
inputs = Input(shape=(image_size, image_size, 3))
# 填充3圈0，填充后图像从224×224变成230×230
x = ZeroPadding2D((3, 3))(inputs)
x = Conv2D(filters=64, kernel_size=7, strides=2, padding='valid')(x)
x = BatchNormalization(epsilon=1.001e-5)(x)
x = Activation('relu')(x)
# 填充1圈0
x = ZeroPadding2D((1, 1))(x)
x = MaxPool2D(pool_size=3, strides=2, padding='valid')(x)
# 堆叠残差结构
# blocks表示堆叠数量， 每个blocks中有三个卷积层
# filters是每个卷积块第一层的filters,第二层与第一层相等
# 第三层的filters为第一层的四倍
x = stack_conv2_x(x, filters=64, blocks=2)
x = stack(x, filters=128, blocks=2)
x = stack(x, filters=256, blocks=2)
x = stack(x, filters=512, blocks=2)
# 根据特征图大小进行平均池化，池化后得到2维数据
x = GlobalAvgPool2D()(x)
x = Dense(num_classes, activation='softmax')(x)
# 定义模型
model = Model(inputs=inputs, outputs=x)
model.summary()
plot_model(model,to_file='img/ResNet18.png',show_shapes=True)还有一种更优雅的搭建方式，看这里：经典卷积网络--ResNet残差网络
网络结构如下：
6.2 ResNet50
上图右边为ResNet50的部分结构图，通过上边的参数和上图的结构可以发现，每个conv块中的第一个块都是使用虚线连接(即输入和输出维度不相同，需要使用1*1卷积进行维度变换)。
我们以conv3_x为例，输入为[56,56,256]，输出的shape为[28,28,512]。可以还想，此时输入和输出的唯独已经不一致了。图像的高宽和通道数都不一致，所以使用512个1*1大小的卷积核，步长为2来保持shape一致可以执行相加操作。如下图所示。
ResNet50代码复现如下：
import tensorflow as tf
from tensorflow.keras.layers import *
from tensorflow.keras.models import Model
from plot_model import plot_model
image_size=224
num_classes=1000
# 定义残差单元
def block(x, filters, strides=1, conv_shortcut=True):
# projection shortcut
if conv_shortcut:
shortcut = Conv2D(filters * 4, kernel_size=1, strides=strides, padding='valid')(x)
# epsilon为BN公式中防止分母为零的值
shortcut = BatchNormalization(epsilon=1.001e-5)(shortcut)
else:
# identity_shortcut
shortcut = x
# 3个卷积层
x = Conv2D(filters=filters, kernel_size=1, strides=strides, padding='valid')(x)
x = BatchNormalization(epsilon=1.001e-5)(x)
x = Activation('relu')(x)
x = Conv2D(filters=filters, kernel_size=3, strides=1, padding='same')(x)
x = BatchNormalization(epsilon=1.001e-5)(x)
x = Activation('relu')(x)
x = Conv2D(filters=filters * 4, kernel_size=1, strides=1, padding='valid')(x)
x = BatchNormalization(epsilon=1.001e-5)(x)
x = Add()([x, shortcut])
x = Activation('relu')(x)
return x
# 堆叠残差单元
def stack(x, filters, blocks, strides):
# 观察ResNet50结构可知，只有每个block中的第一块的第一层输入和输出的维度不一样
# 需要使用1*1卷积保持维度一致再Add，其他的输入和输出的shape是一致的，可以直接Add
x = block(x, filters, strides=strides)
for i in range(blocks - 1):
x = block(x, filters, conv_shortcut=False)
return x
# 定义ResNet50
inputs = Input(shape=(image_size, image_size, 3))
# 填充3圈0，填充后图像从224×224变成230×230
x = ZeroPadding2D((3, 3))(inputs)
x = Conv2D(filters=64, kernel_size=7, strides=2, padding='valid')(x)
x = BatchNormalization(epsilon=1.001e-5)(x)
x = Activation('relu')(x)
# 填充1圈0
x = ZeroPadding2D((1, 1))(x)
x = MaxPool2D(pool_size=3, strides=2, padding='valid')(x)
# 堆叠残差结构
# blocks表示堆叠数量， 每个blocks中有三个卷积层
# filters是每个卷积块第一层的filters,第二层与第一层相等
# 第三层的filters为第一层的四倍
x = stack(x, filters=64, blocks=3, strides=1)
x = stack(x, filters=128, blocks=4, strides=2)
x = stack(x, filters=256, blocks=6, strides=2)
x = stack(x, filters=512, blocks=3, strides=2)
# 根据特征图大小进行平均池化，池化后得到2维数据
x = GlobalAvgPool2D()(x)
x = Dense(num_classes, activation='softmax')(x)
# 定义模型
model = Model(inputs=inputs, outputs=x)
model.summary()
plot_model(model,to_file='img/ResNet50Test.png',show_shapes=True)
注意观察每个conv块的第一个块的输入和输出维度。ResNet18与ResNet34的搭建方式是一样的，ResNet50与ResNet101、ResNet152搭建方式是一样的。只不过每层的block个数不一致，这里不再赘述。
Reference
Deep Residual Learning for Image Recognition
