前言
在这里我们为了保障实验具备可比性,我们采用控制变量法进行比较3乘3、5乘5和9乘9卷积核对图像分类的影响,为了简便实验,我们采用LeNet-5网络结构做母版这样大家也都熟悉,同样我们的数据集也为同一个。
一.比对之前
明确不变量如下所示:
1.1 数据集不变(总类别为10,手写数字数据集,单类别数为500)
1.2 训练集和验证集的划分不变(训练:验证=7:3)
1.3 网络结构除卷积核不同其它完全一样
1.4 训练轮数相同
1.5 损失函数相同
1.6 学习率相同
1.7 验证频率
1.8 硬件设备相同
options = trainingOptions('sgdm',... 'maxEpochs', 100, ... 'ValidationData', imdsValidation, ... 'ValidationFrequency',5,... 'Verbose',false,... 'Plots','training-progress');% 显示训练进度
二.5*5卷积核实验结果
由于LeNet-5的卷积核大小为5乘5的,故我们先实验LeNet-5原版实验
由下图可得5*5卷积核下该模型对该数据集有如下信息:
2.1 验证准确度:85.60%
2.2 训练历时:3min-19s
2.3 loss曲线收敛且正常(未出现过拟合和欠拟合)
三.3乘3卷积核实验结果
我们只改变卷积核大小,将5乘5卷积核大小更改为3乘3大小的卷积核
由下图可得3乘3卷积核下该模型对该数据集有如下信息
3.1 验证准确度:69.20%
3.2 训练历时:3min-09s
3.3 loss曲线收敛(未出现过拟合和欠拟合)
四.9乘9卷积核实验结果
我们只改变卷积核大小,将5乘5卷积核大小更改为9乘9大小的卷积核
由下图可得9乘9卷积核下该模型对该数据集有如下信息
4.1 验证准确度:90.80%
4.2 训练历时:3min-13s
4.3 loss曲线收敛(未出现过拟合和欠拟合)
五.综上分析
在学习率为0.1(lr=0.1)、100轮迭代2700次、验证评论5次迭代、损失函数为sgdm、总数据量为(500乘10)、训练:验证=7:3的情况下:
验证准确度:
(9乘9)>(5乘5)>(3乘3)
训练历时:
(5乘5)>(9乘9)>(3乘3)
虽然三种卷积核训练的不咋地,但是若要矮个里面拔将军的话,根据图像所示,选择9*9卷积核大小的(限定上述种相同因素)