1.CNN简介
CNN是卷积神经网络的简称，是深度学习的算法之一，目前在图像的分割领域有着广泛的应用。因为卷积神经网络概念很多可以参考如下的博客：
1、CNN笔记：通俗理解卷积神经网络：https://blog.csdn.net/v_JULY_v/article/details/51812459
2、卷积神经网络（CNN）详解https://zhuanlan.zhihu.com/p/47184529
2.环境配置
采用Anaconda3配置的python环境，选择TensorFlow-CPU2.1版本（本人TensorFlow-GPU测试不成功），需要额外导入matplotlib库。具体可以参照：【北京大学】Tensorflow2.0
项目工程文件
3. 数据集准备
这里我们使用cifar10数据集，下面对cifar10数据集做个简单介绍，参考博客为：https://blog.csdn.net/DaVinciL/article/details/78793067。
3.1 CIFAR-10数据集
CIFAR-10数据集由10类32x32的彩色图片组成，一共包含60000张图片，每一类包含6000图片。其中50000张图片作为训练集，10000张图片作为测试集。CIFAR-10数据集被划分成了5个训练的batch和1个测试的batch，每个batch均包含10000张图片。测试集batch的图片是从每个类别中随机挑选的1000张图片组成的,训练集batch以随机的顺序包含剩下的50000张图片。不过一些训练集batch可能出现包含某一类图片比其他类的图片数量多的情况。训练集batch包含来自每一类的5000张图片，一共50000张训练图片。下图显示的是数据集的类，以及每一类中随机挑选的10张图片，如图 1 CIFAR-10数据集：
图 1 CIFAR-10数据集
3.2 tensorflow2.0下载
tensorflow2.0下载数据集准备，使用如下代码即可完成下载。
cifar10 = tf.keras.datasets.cifar10
但是需要科学上网，官方给出了多个CIFAR-10数据集的版本，如表格 1 CIFAR-10数据集的版本以下是链接：
表格 1 CIFAR-10数据集的版本
| Version | Size | md5sum |
| CIFAR-10 python version | 163 MB | c58f30108f718f92721af3b95e74349a |
| CIFAR-10 Matlab version | 175 MB | 70270af85842c9e89bb428ec9976c926 |
| CIFAR-10 binary version (suitable for C programs) | 162MB | c32a1d4ab5d03f1284b67883e8d87530 |
此处我们下载python版本。下载完成后，解压，放到我截图中的位置即可，如图 2 数据集路径。
图 2 数据集路径
4 tensenflow2.0中关于卷积相关函数简介
4.1 数据集加载函数
cifar10 = tf.keras.datasets.cifar10 (x_train,y_trian),(x_test,y_test) = cifar10.load_data()
这里我们使用tf中keras模块加载数据集，最后会返回两个元组，一个为训练集，一个为测试集，函数为load_data()
4.2 Conv2D
tf.keras.layers.Conv2D( filters, kernel_size, strides=(1, 1), padding='valid', data_format=None, dilation_rate=(1, 1), activation=None, use_bias=True, kernel_initializer='glorot_uniform', bias_initializer='zeros', kernel_regularizer=None, bias_regularizer=None, activity_regularizer=None, kernel_constraint=None, bias_constraint=None, **kwargs )
该函数将创建一个卷积核，这里我只使用filters（卷积核）,kerel_size(卷积核大小),strides(步长),padding(全零填充，valid表示不使用全零填充，same表示使用全零填充)
4.3 BatchNormalization
tf.keras.layers.BatchNormalization( axis=-1, momentum=0.99, epsilon=0.001, center=True, scale=True, beta_initializer='zeros', gamma_initializer='ones', moving_mean_initializer='zeros', moving_variance_initializer='ones', beta_regularizer=None, gamma_regularizer=None, beta_constraint=None, gamma_constraint=None, renorm=False, renorm_clipping=None, renorm_momentum=0.99, fused=None, trainable=True, virtual_batch_size=None, adjustment=None, name=None, **kwargs )
该函数为披标准化函数，作用为：加速收敛、控制过拟合，可以少用或不用Dropout和正则、降低网络对初始化权重不敏感、允许使用较大的学习率。
4.4 Activation
tf.keras.layers.Activation( activation, **kwargs )
指定当前神经网络层激活函数，这里我们使用relu激活函数，
4.5 MaxPool2D
tf.keras.layers.MaxPool2D( pool_size=(2, 2), strides=None, padding='valid', data_format=None, **kwargs )
最大池化函数，pool_size(池化层大小),strides(步长),padding(是否使用全零填充，valid表示不使用全零填充，same表示使用全零填充)
4.6 Dropout
tf.keras.layers.Dropout( rate, noise_shape=None, seed=None, **kwargs )
该函数用来随机舍弃神经元，防止训练过程中出现过拟合情况，我们只用rate
总结：在搭建卷积神经网络过程中我们使用到了如下的口诀，CBAPD，分别对应tf函数为Conv2D，BatchNormalization，Activation，MaxPool2D，Dropout，请记住，卷积就是特征提取器，在下边的代码中我们会遵循CBAPD来实现一个卷积神经网络
5 基础卷积神经网络实现
这里我们要搭建一个这样结构的卷积神经网络，CBAPD，CBA，CBAPD，全连接层（12812810）
5.1 加载数据集
cifar10 = tf.keras.datasets.cifar10 (x_train,y_trian),(x_test,y_test) = cifar10.load_data()
5.2 归一化处理
运用归一化处理能够加快神经网络收敛速度
x_train,x_test = x_train/255.0,x_test/255.0
5.3 搭建卷积模型（重点）
这里我们不同于我之前的博客，我们使用类的方式来搭建CNN，随后的博客中也只需要更改3中的卷积模块即可实现功能。
这里我们指定一个类，继承自tf.keras.Model
class Baseline(Model):
然后弄一个初始化函数
def __init__(self):
再实现父类的init方法
super(Baseline,self).__init__()
完整代码如下
class Baseline(Model): def __init__(self): super(Baseline,self).__init__() self.c1 = Conv2D(filters=6,kernel_size=(5,5),padding="same")#卷积层 self.b1 = BatchNormalization()#BN层 self.a1 = Activation("relu") self.p1 = MaxPool2D(pool_size=(2,2),strides=2,padding="same")#池化层 self.d1 = Dropout(0.2) self.c2 = Conv2D(filters=12,kernel_size=(5,5),padding="same") self.b2 = BatchNormalization() self.a2 = Activation("relu") self.c3 = Conv2D(filters=24,kernel_size=(5,5),padding="same") self.b3 = BatchNormalization() self.a3 = Activation("relu") self.p3 = MaxPool2D(pool_size=(2,2),strides=2,padding="same") self.d3 = Dropout(0.2) self.flatten = Flatten() self.f1 = Dense(128,activation="relu") self.d4 = Dropout(0.2) self.f2 = Dense(128,activation="relu") self.d5 =Dropout(0.2) self.f3 = Dense(10,activation="softmax")
结合CBAPD是不是显得很清晰呢，到这里我们完成了网络结构的搭建，现在我们还要过一遍前向传播
我们使用call函数来表示
def call(self,x): x = self.c1(x) x = self.b1(x) x = self.a1(x) x = self.p1(x) x = self.d1(x) x = self.c2(x) x = self.b2(x) x = self.a2(x) x = self.c3(x) x = self.b3(x) x = self.a3(x) x = self.p3(x) x = self.d3(x) x = self.flatten(x) x = self.f1(x) x = self.d4(x) x = self.f2(x) x = self.d5(x) y = self.f3(x) return y
5.4 训练过程参数配置
这里可以参考我之前的这篇博客，细节讲解全在里边了https://blog.csdn.net/JohnLeeK/article/details/106423634
5.4.1 指定学习率，优化器等
model.compile(optimizer = tf.keras.optimizers.Adam( learning_rate = 0.001,beta_1 = 0.9,beta_2 = 0.999#自定义动量，adam和学习率，也是为了提高准确率 ), loss = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False), metrics = ["sparse_categorical_accuracy"] )
5.4.2 断点续训：
checkpoint_save = "./checkpoinCNNBase/Baseline.ckpt" if os.path.exists(checkpoint_save+".index"): print("---------------load the model----------------------") model.load_weights(checkpoint_save) cp_callback = tf.keras.callbacks.ModelCheckpoint( filepath = checkpoint_save, save_weights_only = True, save_best_only = True )
5.4.3 将数据喂入神经网络
history = model.fit( x_train,y_trian,batch_size = 2048,epochs = 300,validation_data = (x_test,y_test), validation_freq = 1,callbacks = [cp_callback] )
5.4.4 打印网络结构
model.summary()
5.4.5 保存权重
file = open("./cifar10_weights.txt","w") for v in model.trainable_variables: file.write(str(v.name)+"\n") file.write(str(v.shape)+"\n") file.write(str(v.numpy())+"\n") file.close()
5.4.6 绘制准确率和损失函数并保存
acc = history.history["sparse_categorical_accuracy"] val_acc = history.history["val_sparse_categorical_accuracy"] loss = history.history["loss"] val_loss = history.history["val_loss"] plt.subplot(1,2,1) plt.plot(acc,label = "Training Acc") plt.plot(val_acc,label = "Validation Acc") plt.title("Training and Validation Acc") plt.legend() plt.subplot(1,2,2) plt.plot(loss,label = "Training Loss") plt.plot(val_loss,label = "Validation Loss") plt.title("Trainning and Validation Loss") plt.legend() plt.savefig("./day4_cifar1_baseline")
6 结果展示
训练结果如图 3 训练结果acc和loss可视化
图 3 训练结果acc和loss可视化
这里可以看到在经过300轮的训练之后我们的神经网络，对cifar10数据集的分类准确率能达到80%以上，但是我们还可以发现80%并不是最优的结果，从图中观察可以发现准确率曲线没有趋于平滑，还有上升的趋势，原因如下：
1.我训练次数偏少只训练了300轮，对于当前网络模型并未达到最优解
2.我并未对神经网络结构进行优化，卷积层数较少，特征提取能力较弱
3.全连接层偏少分类预测率较低
