对比三种卷积核对模型结果的影响

简介: 对比三种卷积核对模型结果的影响

前言



在这里我们为了保障实验具备可比性,我们采用控制变量法进行比较3乘3、5乘5和9乘9卷积核对图像分类的影响,为了简便实验,我们采用LeNet-5网络结构做母版这样大家也都熟悉,同样我们的数据集也为同一个。




一.比对之前


明确不变量如下所示:


1.1 数据集不变(总类别为10,手写数字数据集,单类别数为500)


1.2 训练集和验证集的划分不变(训练:验证=7:3)


1.3 网络结构除卷积核不同其它完全一样


1.4 训练轮数相同


1.5 损失函数相同


1.6 学习率相同


1.7 验证频率


1.8 硬件设备相同

options = trainingOptions('sgdm',...
    'maxEpochs', 100, ...
    'ValidationData', imdsValidation, ...
    'ValidationFrequency',5,...
    'Verbose',false,...
    'Plots','training-progress');% 显示训练进度



二.5*5卷积核实验结果


由于LeNet-5的卷积核大小为5乘5的,故我们先实验LeNet-5原版实验


由下图可得5*5卷积核下该模型对该数据集有如下信息:


2.1 验证准确度:85.60%


2.2 训练历时:3min-19s


2.3 loss曲线收敛且正常(未出现过拟合和欠拟合)


image.png


三.3乘3卷积核实验结果


我们只改变卷积核大小,将5乘5卷积核大小更改为3乘3大小的卷积核


由下图可得3乘3卷积核下该模型对该数据集有如下信息


3.1 验证准确度:69.20%


3.2 训练历时:3min-09s


3.3 loss曲线收敛(未出现过拟合和欠拟合)


image.png




四.9乘9卷积核实验结果


我们只改变卷积核大小,将5乘5卷积核大小更改为9乘9大小的卷积核


由下图可得9乘9卷积核下该模型对该数据集有如下信息


4.1 验证准确度:90.80%


4.2 训练历时:3min-13s


4.3 loss曲线收敛(未出现过拟合和欠拟合)

image.png




五.综上分析


在学习率为0.1(lr=0.1)、100轮迭代2700次、验证评论5次迭代、损失函数为sgdm、总数据量为(500乘10)、训练:验证=7:3的情况下:


验证准确度:


(9乘9)>(5乘5)>(3乘3)


训练历时:


(5乘5)>(9乘9)>(3乘3)


虽然三种卷积核训练的不咋地,但是若要矮个里面拔将军的话,根据图像所示,选择9*9卷积核大小的(限定上述种相同因素)




相关文章
|
5月前
|
机器学习/深度学习 计算机视觉 异构计算
【YOLOv8改进 - Backbone主干】FasterNet:基于PConv(部分卷积)的神经网络,提升精度与速度,降低参数量。
【YOLOv8改进 - Backbone主干】FasterNet:基于PConv(部分卷积)的神经网络,提升精度与速度,降低参数量。
|
3月前
|
机器学习/深度学习 数据可视化 数据建模
使用ClassificationThresholdTuner进行二元和多类分类问题阈值调整,提高模型性能增强结果可解释性
在分类问题中,调整决策的概率阈值虽常被忽视,却是提升模型质量的有效步骤。本文深入探讨了阈值调整机制,尤其关注多类分类问题,并介绍了一个名为 ClassificationThresholdTuner 的开源工具,该工具自动化阈值调整和解释过程。通过可视化功能,数据科学家可以更好地理解最优阈值及其影响,尤其是在平衡假阳性和假阴性时。此外,工具支持多类分类,解决了传统方法中的不足。
49 2
使用ClassificationThresholdTuner进行二元和多类分类问题阈值调整,提高模型性能增强结果可解释性
|
5月前
|
计算机视觉 异构计算
【YOLOv8改进-SPPF】 AIFI : 基于注意力的尺度内特征交互,保持高准确度的同时减少计算成本
YOLOv8专栏介绍了该系列目标检测框架的最新改进与实战应用。文章提出RT-DETR,首个实时端到端检测器,解决了速度与精度问题。通过高效混合编码器和不确定性最小化查询选择,RT-DETR在COCO数据集上实现高AP并保持高帧率,优于其他YOLO版本。论文和代码已开源。核心代码展示了AIFI Transformer层,用于位置嵌入。更多详情见[YOLOv8专栏](https://blog.csdn.net/shangyanaf/category_12303415.html)。
|
6月前
|
机器学习/深度学习 关系型数据库
【YOLOv8改进 - 注意力机制】NAM:基于归一化的注意力模块,将权重稀疏惩罚应用于注意力机制中,提高效率性能
**NAM: 提升模型效率的新颖归一化注意力模块,抑制非显著权重,结合通道和空间注意力,通过批量归一化衡量重要性。在Resnet和Mobilenet上的实验显示优于其他三种机制。源码见[GitHub](https://github.com/Christian-lyc/NAM)。**
|
6月前
|
机器学习/深度学习 算法
**反向传播算法**在多层神经网络训练中至关重要,它包括**前向传播**、**计算损失**、**反向传播误差**和**权重更新**。
【6月更文挑战第28天】**反向传播算法**在多层神经网络训练中至关重要,它包括**前向传播**、**计算损失**、**反向传播误差**和**权重更新**。数据从输入层流经隐藏层到输出层,计算预测值。接着,比较预测与真实值计算损失。然后,从输出层开始,利用链式法则反向计算误差和梯度,更新权重以减小损失。此过程迭代进行,直到损失收敛或达到训练次数,优化模型性能。反向传播实现了自动微分,使模型能适应训练数据并泛化到新数据。
70 2
|
7月前
|
存储 人工智能 自然语言处理
DeepSparse: 通过剪枝和稀疏预训练,在不损失精度的情况下减少70%的模型大小,提升三倍速度
该论文提出了一种新方法,用于创建高稀疏性大型语言模型,通过稀疏预训练和高效部署,在保持高准确度的同时显著提升处理速度。方法包括结合SparseGPT剪枝和稀疏预训练,实现70%稀疏度下准确率完全恢复,尤其适合复杂任务。实验显示,使用Cerebras CS-3 AI加速器和Neural Magic的DeepSparse、nm-vllm引擎,训练和推理速度有显著提升。此外,量化稀疏模型在CPU上速度提升可达8.6倍。这种方法优于传统剪枝,为构建更快、更小的语言模型提供了新途径,并通过开源代码和模型促进了研究复现和扩展。
120 3
YOLOv3的NMS参数调整对模型的准确率和召回率分别有什么影响?
YOLOv3的NMS参数调整对模型的准确率和召回率分别有什么影响?
|
7月前
线性回归前特征离散化可简化模型、增强稳定性、选有意义特征、降低过拟合、提升计算效率及捕捉非线性关系。
【5月更文挑战第2天】线性回归前特征离散化可简化模型、增强稳定性、选有意义特征、降低过拟合、提升计算效率及捕捉非线性关系。但过多离散特征可能增加复杂度,丢失信息,影响模型泛化和精度。需谨慎平衡离散化利弊。
51 0
|
7月前
|
机器学习/深度学习 存储 编解码
重参架构的量化问题解决了 | 粗+细粒度权重划分量化让RepVGG-A1仅损失0.3%准确性
重参架构的量化问题解决了 | 粗+细粒度权重划分量化让RepVGG-A1仅损失0.3%准确性
88 0
重参架构的量化问题解决了 | 粗+细粒度权重划分量化让RepVGG-A1仅损失0.3%准确性
|
7月前
|
人工智能 搜索推荐 物联网
DoRA(权重分解低秩适应):一种新颖的模型微调方法_dora模型
DoRA(权重分解低秩适应):一种新颖的模型微调方法_dora模型
365 0