Pytorch实现经典模型AlexNet模型

简介: Pytorch实现经典模型AlexNet模型

一:Pytorch实现经典模型AlexNet模型

要求:

使用pytorch实现经典的分类模型AlexNet,这里主要因为没有GPU环境,而其完整参数达到了6000万个,所以如ppt要求,在该模型的基础架构上,修改卷积核的大小以及卷积操作的步长等来模拟实现。

实验设计:

7.png


8.png

实验过程:

注:这里主要介绍一下AlexNet模型的定义,其中因为参数量过大,以及图片的输入大小变为了64*64,所以对于每层的卷积核大小以及步长等做了相关变化。

1.1AlexNet模型定义

1.  # 定义神经网络    
2.  class ALexNet(nn.Module):  # 训练 ALexNet  
3.      ''''' 
4.      五层卷积,三层全连接  (输入图片大小是 C x H x W  ---> 3 * 64 * 64) 
5.      这里因为图片大小是64*64,所以这里重新改变了各层的步长、卷积核大小等 
6.      '''   
7.      def __init__(self):  
8.          super(ALexNet, self).__init__()  
9.          # 五个卷积层  
10.         self.conv1 = nn.Sequential(  # 输入 3 * 64 * 64  输出 6*16*16   
11.             nn.Conv2d(in_channels=3, out_channels=6, kernel_size=3, stride=1, padding=1),   # (64-3+2)/1+1 = 64  
12.             nn.ReLU(),  
13.             nn.MaxPool2d(kernel_size=4, stride=4, padding=0)  # (64-4)/4+1 = 16   
14.         )  
15.         self.conv2 = nn.Sequential(  # 输入 6 * 16 * 16 输出 16*8*8  
16.             nn.Conv2d(in_channels=6, out_channels=16, kernel_size=3, stride=1, padding=1),  # (16-3+2)/1+1 = 16   
17.             nn.ReLU(),  
18.             nn.MaxPool2d(kernel_size=2, stride=2, padding=0)  # (16-2)/2+1 = 8  
19.         )  
20.         self.conv3 = nn.Sequential(  # 输入 16 * 8 * 8  输出 32 * 8 * 8  
21.             nn.Conv2d(in_channels=16, out_channels=32, kernel_size=3, stride=1, padding=1), # (8-3+2)/1+1 = 8  
22.             nn.ReLU()  
23.         )  
24.         self.conv4 = nn.Sequential(  # 输入 32 * 8 * 8  输出 64 * 8 * 8  
25.             nn.Conv2d(in_channels=32, out_channels=64, kernel_size=3, stride=1, padding=1), # (8-3+2)/1+1 = 8  
26.             nn.ReLU()  
27.         )  
28.         self.conv5 = nn.Sequential(  # 输入 64 * 8 * 8 输出 128 * 1 * 1  
29.             nn.Conv2d(in_channels=64, out_channels=128, kernel_size=3, stride=1, padding=1),# (8-3+2)/1+1 = 8  
30.             nn.ReLU(),  
31.             nn.MaxPool2d(kernel_size=4, stride=4, padding=0)  # (8-4)/4 + 1 = 2   
32.         )                             
33.         # 最后一层卷积层,输出 128 * 2 * 2   
34.         # 全连接层  
35.         self.dense = nn.Sequential(  
36.             nn.Linear(512, 120),  
37.             nn.ReLU(),  
38.             nn.Linear(120, 84),  
39.             nn.ReLU(),  
40.             nn.Linear(84, 3)  
41.         )  
42.   
43.     def forward(self, x):  
44.         x = self.conv1(x)  
45.         x = self.conv2(x)  
46.         x = self.conv3(x)  
47.         x = self.conv4(x)  
48.         x = self.conv5(x)  
49.         x = x.view(-1, 512)  
50.         x = self.dense(x)  
51.         return x 

注:主要包括5层卷积层和3层全连接层,其卷积层的卷积核的大小、步长等。

目录
相关文章
|
19天前
|
算法 PyTorch 算法框架/工具
Pytorch学习笔记(九):Pytorch模型的FLOPs、模型参数量等信息输出(torchstat、thop、ptflops、torchsummary)
本文介绍了如何使用torchstat、thop、ptflops和torchsummary等工具来计算Pytorch模型的FLOPs、模型参数量等信息。
82 2
|
21天前
|
机器学习/深度学习 自然语言处理 监控
利用 PyTorch Lightning 搭建一个文本分类模型
利用 PyTorch Lightning 搭建一个文本分类模型
43 8
利用 PyTorch Lightning 搭建一个文本分类模型
|
23天前
|
机器学习/深度学习 自然语言处理 数据建模
三种Transformer模型中的注意力机制介绍及Pytorch实现:从自注意力到因果自注意力
本文深入探讨了Transformer模型中的三种关键注意力机制:自注意力、交叉注意力和因果自注意力,这些机制是GPT-4、Llama等大型语言模型的核心。文章不仅讲解了理论概念,还通过Python和PyTorch从零开始实现这些机制,帮助读者深入理解其内部工作原理。自注意力机制通过整合上下文信息增强了输入嵌入,多头注意力则通过多个并行的注意力头捕捉不同类型的依赖关系。交叉注意力则允许模型在两个不同输入序列间传递信息,适用于机器翻译和图像描述等任务。因果自注意力确保模型在生成文本时仅考虑先前的上下文,适用于解码器风格的模型。通过本文的详细解析和代码实现,读者可以全面掌握这些机制的应用潜力。
38 3
三种Transformer模型中的注意力机制介绍及Pytorch实现:从自注意力到因果自注意力
|
2月前
|
机器学习/深度学习 PyTorch 调度
在Pytorch中为不同层设置不同学习率来提升性能,优化深度学习模型
在深度学习中,学习率作为关键超参数对模型收敛速度和性能至关重要。传统方法采用统一学习率,但研究表明为不同层设置差异化学习率能显著提升性能。本文探讨了这一策略的理论基础及PyTorch实现方法,包括模型定义、参数分组、优化器配置及训练流程。通过示例展示了如何为ResNet18设置不同层的学习率,并介绍了渐进式解冻和层适应学习率等高级技巧,帮助研究者更好地优化模型训练。
99 4
在Pytorch中为不同层设置不同学习率来提升性能,优化深度学习模型
|
2月前
|
机器学习/深度学习 监控 PyTorch
PyTorch 模型调试与故障排除指南
在深度学习领域,PyTorch 成为开发和训练神经网络的主要框架之一。本文为 PyTorch 开发者提供全面的调试指南,涵盖从基础概念到高级技术的内容。目标读者包括初学者、中级开发者和高级工程师。本文探讨常见问题及解决方案,帮助读者理解 PyTorch 的核心概念、掌握调试策略、识别性能瓶颈,并通过实际案例获得实践经验。无论是在构建简单神经网络还是复杂模型,本文都将提供宝贵的洞察和实用技巧,帮助开发者更高效地开发和优化 PyTorch 模型。
37 3
PyTorch 模型调试与故障排除指南
|
26天前
|
存储 并行计算 PyTorch
探索PyTorch:模型的定义和保存方法
探索PyTorch:模型的定义和保存方法
|
3月前
|
机器学习/深度学习 PyTorch 编译器
PyTorch 与 TorchScript:模型的序列化与加速
【8月更文第27天】PyTorch 是一个非常流行的深度学习框架,它以其灵活性和易用性而著称。然而,当涉及到模型的部署和性能优化时,PyTorch 的动态计算图可能会带来一些挑战。为了解决这些问题,PyTorch 引入了 TorchScript,这是一个用于序列化和优化 PyTorch 模型的工具。本文将详细介绍如何使用 TorchScript 来序列化 PyTorch 模型以及如何加速模型的执行。
95 4
|
3月前
|
机器学习/深度学习 边缘计算 PyTorch
PyTorch 与边缘计算:将深度学习模型部署到嵌入式设备
【8月更文第29天】随着物联网技术的发展,越来越多的数据处理任务开始在边缘设备上执行,以减少网络延迟、降低带宽成本并提高隐私保护水平。PyTorch 是一个广泛使用的深度学习框架,它不仅支持高效的模型训练,还提供了多种工具帮助开发者将模型部署到边缘设备。本文将探讨如何将PyTorch模型高效地部署到嵌入式设备上,并通过一个具体的示例来展示整个流程。
365 1
|
3月前
|
机器学习/深度学习 自然语言处理 PyTorch
PyTorch与Hugging Face Transformers:快速构建先进的NLP模型
【8月更文第27天】随着自然语言处理(NLP)技术的快速发展,深度学习模型已经成为了构建高质量NLP应用程序的关键。PyTorch 作为一种强大的深度学习框架,提供了灵活的 API 和高效的性能,非常适合于构建复杂的 NLP 模型。Hugging Face Transformers 库则是目前最流行的预训练模型库之一,它为 PyTorch 提供了大量的预训练模型和工具,极大地简化了模型训练和部署的过程。
139 2
|
3月前
|
机器学习/深度学习 边缘计算 PyTorch
PyTorch 与 ONNX:模型的跨平台部署策略
【8月更文第27天】深度学习模型的训练通常是在具有强大计算能力的平台上完成的,比如配备有高性能 GPU 的服务器。然而,为了将这些模型应用到实际产品中,往往需要将其部署到各种不同的设备上,包括移动设备、边缘计算设备甚至是嵌入式系统。这就需要一种能够在多种平台上运行的模型格式。ONNX(Open Neural Network Exchange)作为一种开放的标准,旨在解决模型的可移植性问题,使得开发者可以在不同的框架之间无缝迁移模型。本文将介绍如何使用 PyTorch 将训练好的模型导出为 ONNX 格式,并进一步探讨如何在不同平台上部署这些模型。
165 2