LeNet5模型与全连接模型的差异

简介: LeNet5模型与全连接模型的差异

1 问题

深度学习训练过程中,有很多的训练模型,我们组就在思考LeNet模型与之前运用的全连接模型在训练精度损失与验证精度损失上有什么差别?


2 方法

这是LeNet模型的主要代码,对数据进行两成卷积与两次池化之后再建立三成全连接即可。

class MyNet(nn.Module):
   def __init__(self):
       super().__init__()
       self.conv1 = nn.Conv2d(
           in_channels=1,
           out_channels=6,
           kernel_size=5,
           stride=1,
           padding=0
       )
       self.avg_pool_1 = nn.AvgPool2d(2)
       self.conv2 = nn.Conv2d(
           in_channels=6,
           out_channels=16,
           kernel_size=5,
           stride=1,
           padding=0
       )
       self.avg_pool_2 = nn.AvgPool2d(2)
       self.fc1 = nn.Linear(
           in_features=256,  
           out_features=120
       )
       self.fc2 = nn.Linear(
           in_features=120,
           out_features=84
       )
       self.fc3 = nn.Linear(
           in_features=84,
           out_features=10
       )
   def forward(self, x):
       x = self.conv1(x)
       x = self.avg_pool_1(x)
       x = self.conv2(x)
       x = self.avg_pool_2(x)
       x = torch.flatten(x, 1)  # ! [B,C,H,W]
       x = self.fc1(x)
       x = self.fc2(x)
       out = self.fc3(x)
       return out
LeNet模型结果如下:

全连接模型结果如下:


3 结语

对于LeNet模型与全连接模型结果比较分析,我训练了50个周期来相比较,可发现LeNet模型相比于全连接模型训练精度与验证精度上升地更快,且验证损失的下降也更快,说明LeNet模型有着更高的训练效率,能够运用更少的周期达到更高的精度与更少的损失。


目录
相关文章
|
6月前
|
机器学习/深度学习 存储 自然语言处理
卷积神经元网络CNN基础
卷积神经元网络CNN基础
67 1
|
6月前
|
机器学习/深度学习 存储 TensorFlow
【Python机器学习】卷积神经网络卷积层、池化层、Flatten层、批标准化层的讲解(图文解释)
【Python机器学习】卷积神经网络卷积层、池化层、Flatten层、批标准化层的讲解(图文解释)
199 0
|
4月前
|
机器学习/深度学习 计算机视觉 异构计算
【YOLOv8改进 - Backbone主干】FasterNet:基于PConv(部分卷积)的神经网络,提升精度与速度,降低参数量。
【YOLOv8改进 - Backbone主干】FasterNet:基于PConv(部分卷积)的神经网络,提升精度与速度,降低参数量。
|
机器学习/深度学习
使用传统全连接神经网络训练minist数据集(一)
使用传统全连接神经网络训练minist数据集(一)
|
6月前
|
机器学习/深度学习 存储 算法
模型部署系列 | 卷积Backbone量化技巧集锦
模型部署系列 | 卷积Backbone量化技巧集锦
88 0
|
6月前
|
机器学习/深度学习 算法 PyTorch
手把手教你搭建一个深度网络模型:从输入层-激活函数-损失函数-优化方法-输出层-执行训练
我这几天遇到一个不错的范例,将的是一层一层教我们搭建一个神经网络,其实很多我接触过的伙伴对修改模型架构这块还是头疼。其实我么可以从简单的神经网络层开始,自己DIY每一层,对上手修改架构有帮助。这里用的是paddle框架,当然玩pytorch的朋友也别急着关掉,因为我这几天刷到的pytorch感觉和飞桨的这块几乎是非常相似。只是有点点表达不一样,其他都完全一样。甚至连编程习惯都非常一样。下面是来自PaddlePaddle FLuid深度学习入门与实战一书的案例。
169 0
|
PyTorch 算法框架/工具
Pytorch 深度可分离卷积和MobileNet_v1
Pytorch 深度可分离卷积和MobileNet_v1
120 0
|
算法 PyTorch 算法框架/工具
pytorch实现空洞卷积+残差网络实验(torch实现)
pytorch实现空洞卷积+残差网络实验(torch实现)
394 0
|
机器学习/深度学习 编解码 算法
全新池化方法AdaPool | 让ResNet、DenseNet、ResNeXt等在所有下游任务轻松涨点(一)
全新池化方法AdaPool | 让ResNet、DenseNet、ResNeXt等在所有下游任务轻松涨点(一)
245 0