对比三种卷积核对模型结果的影响

简介: 对比三种卷积核对模型结果的影响

前言



在这里我们为了保障实验具备可比性,我们采用控制变量法进行比较3乘3、5乘5和9乘9卷积核对图像分类的影响,为了简便实验,我们采用LeNet-5网络结构做母版这样大家也都熟悉,同样我们的数据集也为同一个。




一.比对之前


明确不变量如下所示:


1.1 数据集不变(总类别为10,手写数字数据集,单类别数为500)


1.2 训练集和验证集的划分不变(训练:验证=7:3)


1.3 网络结构除卷积核不同其它完全一样


1.4 训练轮数相同


1.5 损失函数相同


1.6 学习率相同


1.7 验证频率


1.8 硬件设备相同

options = trainingOptions('sgdm',...
    'maxEpochs', 100, ...
    'ValidationData', imdsValidation, ...
    'ValidationFrequency',5,...
    'Verbose',false,...
    'Plots','training-progress');% 显示训练进度



二.5*5卷积核实验结果


由于LeNet-5的卷积核大小为5乘5的,故我们先实验LeNet-5原版实验


由下图可得5*5卷积核下该模型对该数据集有如下信息:


2.1 验证准确度:85.60%


2.2 训练历时:3min-19s


2.3 loss曲线收敛且正常(未出现过拟合和欠拟合)


image.png


三.3乘3卷积核实验结果


我们只改变卷积核大小,将5乘5卷积核大小更改为3乘3大小的卷积核


由下图可得3乘3卷积核下该模型对该数据集有如下信息


3.1 验证准确度:69.20%


3.2 训练历时:3min-09s


3.3 loss曲线收敛(未出现过拟合和欠拟合)


image.png




四.9乘9卷积核实验结果


我们只改变卷积核大小,将5乘5卷积核大小更改为9乘9大小的卷积核


由下图可得9乘9卷积核下该模型对该数据集有如下信息


4.1 验证准确度:90.80%


4.2 训练历时:3min-13s


4.3 loss曲线收敛(未出现过拟合和欠拟合)

image.png




五.综上分析


在学习率为0.1(lr=0.1)、100轮迭代2700次、验证评论5次迭代、损失函数为sgdm、总数据量为(500乘10)、训练:验证=7:3的情况下:


验证准确度:


(9乘9)>(5乘5)>(3乘3)


训练历时:


(5乘5)>(9乘9)>(3乘3)


虽然三种卷积核训练的不咋地,但是若要矮个里面拔将军的话,根据图像所示,选择9*9卷积核大小的(限定上述种相同因素)




相关文章
|
1月前
|
编解码 并行计算 算法
除了NMS参数,还有哪些因素会影响YOLOv3模型的检测性能?
除了NMS参数,还有哪些因素会影响YOLOv3模型的检测性能?
|
1月前
|
机器学习/深度学习
YOLOv8改进 | 注意力篇 | ACmix自注意力与卷积混合模型(提高FPS+检测效率)
YOLOv8改进 | 注意力篇 | ACmix自注意力与卷积混合模型(提高FPS+检测效率)
240 0
|
1月前
|
存储 人工智能 自然语言处理
DeepSparse: 通过剪枝和稀疏预训练,在不损失精度的情况下减少70%的模型大小,提升三倍速度
该论文提出了一种新方法,用于创建高稀疏性大型语言模型,通过稀疏预训练和高效部署,在保持高准确度的同时显著提升处理速度。方法包括结合SparseGPT剪枝和稀疏预训练,实现70%稀疏度下准确率完全恢复,尤其适合复杂任务。实验显示,使用Cerebras CS-3 AI加速器和Neural Magic的DeepSparse、nm-vllm引擎,训练和推理速度有显著提升。此外,量化稀疏模型在CPU上速度提升可达8.6倍。这种方法优于传统剪枝,为构建更快、更小的语言模型提供了新途径,并通过开源代码和模型促进了研究复现和扩展。
43 3
YOLOv3的NMS参数调整对模型的准确率和召回率分别有什么影响?
YOLOv3的NMS参数调整对模型的准确率和召回率分别有什么影响?
|
1月前
线性回归前特征离散化可简化模型、增强稳定性、选有意义特征、降低过拟合、提升计算效率及捕捉非线性关系。
【5月更文挑战第2天】线性回归前特征离散化可简化模型、增强稳定性、选有意义特征、降低过拟合、提升计算效率及捕捉非线性关系。但过多离散特征可能增加复杂度,丢失信息,影响模型泛化和精度。需谨慎平衡离散化利弊。
19 0
|
1月前
|
数据采集
【大模型】大语言模型训练数据中的偏差概念及其可能的影响?
【5月更文挑战第5天】【大模型】大语言模型训练数据中的偏差概念及其可能的影响?
|
1月前
|
机器学习/深度学习 资源调度 算法
深度学习模型数值稳定性——梯度衰减和梯度爆炸的说明
深度学习模型数值稳定性——梯度衰减和梯度爆炸的说明
31 0
|
1月前
|
机器学习/深度学习 存储 编解码
重参架构的量化问题解决了 | 粗+细粒度权重划分量化让RepVGG-A1仅损失0.3%准确性
重参架构的量化问题解决了 | 粗+细粒度权重划分量化让RepVGG-A1仅损失0.3%准确性
39 0
重参架构的量化问题解决了 | 粗+细粒度权重划分量化让RepVGG-A1仅损失0.3%准确性
|
1月前
|
人工智能 搜索推荐 物联网
DoRA(权重分解低秩适应):一种新颖的模型微调方法_dora模型
DoRA(权重分解低秩适应):一种新颖的模型微调方法_dora模型
161 0
|
1月前
|
机器学习/深度学习
YOLOv5改进 | 注意力篇 | ACmix自注意力与卷积混合模型(提高FPS+检测效率)
YOLOv5改进 | 注意力篇 | ACmix自注意力与卷积混合模型(提高FPS+检测效率)
104 0

相关实验场景

更多