使用PyTorch构建卷积神经网络(CNN)源码(详细步骤讲解+注释版) 01 手写数字识别

简介: 在使用PyTorch构建GAN生成对抗网络一文中,我们使用GAN构建了一个可以生成人脸图像的模型。但尽管是较为简单的模型,仍占用了1G左右的GPU内存,因此需要探索更加节约资源的方式。

1 卷积神经网络(CNN)简介


在使用PyTorch构建GAN生成对抗网络一文中,我们使用GAN构建了一个可以生成人脸图像的模型。但尽管是较为简单的模型,仍占用了1G左右的GPU内存,因此需要探索更加节约资源的方式。


卷积神经网络(Convolutional Neural Network,简称CNN)是一种深度学习模型,主要应用于图像处理、语音识别等领域。它的主要思想是通过卷积操作对输入图像的特征进行提取,再通过多层网络对特征进行分类和判断。


CNN的网络结构通常由卷积层、池化层和全连接层组成。卷积层的作用是对输入图像的特征进行提取,池化层的作用是减少数据的维度,以提高计算效率;全连接层则用于对特征进行分类和判断。


CNN可以通过训练学习到输入图像的特征表示,从而可以在未知图像上进行分类、识别等任务。它已经成为计算机视觉领域的重要技术,在诸多应用中取得了良好的效果。


6698439c66f74b9d8dd9868088162c02.png



2 从普通BP到CNN的网路结构转变


以前面建立好的手写数字分类器为例,(使用PyTorch构建神经网络构建手写数字分类器)在模型结构定义中,需要对神经网络层做出相应的修改:

self.model = nn.Sequential(
            # expand 1 to 10 filters
            nn.Conv2d(1, 10, kernel_size=5, stride=2),
            nn.LeakyReLU(0.02),
            nn.BatchNorm2d(10),
            # 10 filters to 10 filters
            nn.Conv2d(10, 10, kernel_size=3, stride=2),
            nn.LeakyReLU(0.02),
            nn.BatchNorm2d(10),
            View(250),
            nn.Linear(250, 10),
            nn.Sigmoid()
        )


更新后的神经网络架构如下:


第一个卷积层:把1个通道的输入图像扩展为10个通道,使用5x5的卷积核,步长为2。

第二个卷积层:10个通道的输入图像不变,使用3x3的卷积核,步长为2。

第一个全连接层:把250个节点的一维向量映射到10个节点。

其中用到的函数的含义:

4. Conv2d:对由一个或多个输入平面组成的输入信号进行二维卷积。第1个参数是输入参数,对于黑白图像,输入的通道数即为1。第2个参数是输出通道的数量。在上面的代码中,我们创建了10个卷积核,从而生成10个特征图。kernel_size函数代表了卷积核的大小,使用的是5×5的卷积核。stride是卷积核移动时的大小。该数值小于卷积核大小时,说明卷积核所覆盖的区域有重叠。

5. LeakyReLU:非线性激活函数,常用于生成对抗网络。

6. BatchNorm2d:批量归一化,用于提高网络的稳定性和收敛速度。

7. View:将多维张量展平为一维向量。(自定义函数,详见完整代码)

8. Sigmoid:S形函数,用于二分类问题的输出。


对于一个28*28像素的图片,第一步卷积之后将会生成一个12*12像素的图片(计算方式:共走了 28 − 5 2 \frac{28-5}{2} 步)。第二步卷积之后将会生成一个5*5像素的图片(计算方式:共走了 12 − 3 2

3 从普通BP到CNN的辅助修改


在网络结构中用到了View函数,在上面的参考博文中并未涉及这部分代码,因此把这给你功能进行补充。(与人脸识别篇代码中的View完全相同)


class View(nn.Module):
    def __init__(self, shape):
        super().__init__()
        self.shape = shape,
    def forward(self, x):
        return x.view(*self.shape)


此外,修改后的CNN网络结构,其传入的图片应将其修改为4D数据。因此在模型训练时,将传入的数据进行变形。


start_time = time.perf_counter()  # 计时开始
C = Classifier()
epochs = 3
for i in range(epochs):
    print('training epoch', i+1, 'of', epochs)
    for label, image_data_tensor, target_tensor in mnist_dataset:
        C.train(image_data_tensor.view(1, 1, 28, 28), target_tensor)


注:上面两个VIEW并不相同,一个是我们自行定义用于分类器类使用的函数,一个是torch的自带功能。

除此之外代码均可保持不变,这部分的原始代码可在此找到到或文末留言申请。


4 模型评估




4f2acc3207034c2195a355fd90c3373a.png


在训练初期,可以看到模型的损失呈现迅速下降。下面使用测试集对模型准确率进行评价:

a9c7cc4150e14a31a6ea079d7fae66fa.png




使用一张图片来查看模型的生成。此处我们分别选择了一张数字0和数字6,可以发现与BP模型相比,CNN模型对结果变得更有信心了。




76f9e93264fc424eab8fd3025cf1a738.png



3ae3d35c76b548668d04a0d5438dd0c7.png




ddca2505a51d4f2f84f0140e44967edf.png


f23c0471b0824702afc2721ead777f8c.png





相关文章
|
机器学习/深度学习 数据可视化 算法
PyTorch生态系统中的连续深度学习:使用Torchdyn实现连续时间神经网络
神经常微分方程(Neural ODEs)是深度学习领域的创新模型,将神经网络的离散变换扩展为连续时间动力系统。本文基于Torchdyn库介绍Neural ODE的实现与训练方法,涵盖数据集构建、模型构建、基于PyTorch Lightning的训练及实验结果可视化等内容。Torchdyn支持多种数值求解算法和高级特性,适用于生成模型、时间序列分析等领域。
879 77
PyTorch生态系统中的连续深度学习:使用Torchdyn实现连续时间神经网络
|
机器学习/深度学习 算法 PyTorch
【Pytorch框架搭建神经网络】基于DQN算法、优先级采样的DQN算法、DQN + 人工势场的避障控制研究(Python代码实现)
【Pytorch框架搭建神经网络】基于DQN算法、优先级采样的DQN算法、DQN + 人工势场的避障控制研究(Python代码实现)
367 1
|
机器学习/深度学习 算法 PyTorch
Perforated Backpropagation:神经网络优化的创新技术及PyTorch使用指南
深度学习近年来在多个领域取得了显著进展,但其核心组件——人工神经元和反向传播算法自提出以来鲜有根本性突破。穿孔反向传播(Perforated Backpropagation)技术通过引入“树突”机制,模仿生物神经元的计算能力,实现了对传统神经元的增强。该技术利用基于协方差的损失函数训练树突节点,使其能够识别神经元分类中的异常模式,从而提升整体网络性能。实验表明,该方法不仅可提高模型精度(如BERT模型准确率提升3%-17%),还能实现高效模型压缩(参数减少44%而无性能损失)。这一革新为深度学习的基础构建模块带来了新的可能性,尤其适用于边缘设备和大规模模型优化场景。
620 16
Perforated Backpropagation:神经网络优化的创新技术及PyTorch使用指南
|
机器学习/深度学习 算法 PyTorch
【DQN实现避障控制】使用Pytorch框架搭建神经网络,基于DQN算法、优先级采样的DQN算法、DQN + 人工势场实现避障控制研究(Matlab、Python实现)
【DQN实现避障控制】使用Pytorch框架搭建神经网络,基于DQN算法、优先级采样的DQN算法、DQN + 人工势场实现避障控制研究(Matlab、Python实现)
507 0
|
机器学习/深度学习 PyTorch 算法框架/工具
基于Pytorch 在昇腾上实现GCN图神经网络
本文详细讲解了如何在昇腾平台上使用PyTorch实现图神经网络(GCN)对Cora数据集进行分类训练。内容涵盖GCN背景、模型特点、网络架构剖析及实战分析。GCN通过聚合邻居节点信息实现“卷积”操作,适用于非欧氏结构数据。文章以两层GCN模型为例,结合Cora数据集(2708篇科学出版物,1433个特征,7种类别),展示了从数据加载到模型训练的完整流程。实验在NPU上运行,设置200个epoch,最终测试准确率达0.8040,内存占用约167M。
基于Pytorch 在昇腾上实现GCN图神经网络
|
机器学习/深度学习 搜索推荐 PyTorch
基于昇腾用PyTorch实现传统CTR模型WideDeep网络
本文介绍了如何在昇腾平台上使用PyTorch实现经典的WideDeep网络模型,以处理推荐系统中的点击率(CTR)预测问题。
786 66
|
机器学习/深度学习 搜索推荐 PyTorch
基于昇腾用PyTorch实现CTR模型DIN(Deep interest Netwok)网络
本文详细讲解了如何在昇腾平台上使用PyTorch训练推荐系统中的经典模型DIN(Deep Interest Network)。主要内容包括:DIN网络的创新点与架构剖析、Activation Unit和Attention模块的实现、Amazon-book数据集的介绍与预处理、模型训练过程定义及性能评估。通过实战演示,利用Amazon-book数据集训练DIN模型,最终评估其点击率预测性能。文中还提供了代码示例,帮助读者更好地理解每个步骤的实现细节。
|
机器学习/深度学习 自然语言处理 PyTorch
基于Pytorch Gemotric在昇腾上实现GAT图神经网络
本实验基于昇腾平台,使用PyTorch实现图神经网络GAT(Graph Attention Networks)在Pubmed数据集上的分类任务。内容涵盖GAT网络的创新点分析、图注意力机制原理、多头注意力机制详解以及模型代码实战。实验通过两层GAT网络对Pubmed数据集进行训练,验证模型性能,并展示NPU上的内存使用情况。最终,模型在测试集上达到约36.60%的准确率。
|
算法 PyTorch 算法框架/工具
PyTorch 实现FCN网络用于图像语义分割
本文详细讲解了在昇腾平台上使用PyTorch实现FCN(Fully Convolutional Networks)网络在VOC2012数据集上的训练过程。内容涵盖FCN的创新点分析、网络架构解析、代码实现以及端到端训练流程。重点包括全卷积结构替换全连接层、多尺度特征融合、跳跃连接和反卷积操作等技术细节。通过定义VOCSegDataset类处理数据集,构建FCN8s模型并完成训练与测试。实验结果展示了模型在图像分割任务中的应用效果,同时提供了内存使用优化的参考。
|
机器学习/深度学习 算法 PyTorch
基于Pytorch Gemotric在昇腾上实现GraphSage图神经网络
本实验基于PyTorch Geometric,在昇腾平台上实现GraphSAGE图神经网络,使用CiteSeer数据集进行分类训练。内容涵盖GraphSAGE的创新点、算法原理、网络架构及实战分析。GraphSAGE通过采样和聚合节点邻居特征,支持归纳式学习,适用于未见节点的表征生成。实验包括模型搭建、训练与验证,并在NPU上运行,最终测试准确率达0.665。

热门文章

最新文章

推荐镜像

更多