深度学习:ResNet从理论到代码

简介: 深度学习:ResNet从理论到代码

面临的问题

模型退化问题

在这里插入图片描述
随着网络层数加深,性能逐渐降低,但它并不是过拟合,因为在test error降低的同时,train error 也在降低。

可能的原因:网络训练过程中正反向信息流动不通畅,网络没有被完全训练。

ResNet

作者的思想是如果在一个浅层模型可以找到一个很好的结果,那么他的对应版本的深层网络也会很好,因为只需要在浅层网络后面加恒等映射就可以(就是浅层网络后面的层即使不干好事,但也不会变坏),可是优化器SGD很难做到恒等映射也就是不变的操作,于是就有了下面的ResNet。

核心思想

在这里插入图片描述
如上图所示,输入X,经过卷积层,ReLU激活得到F(X),然后计算F(x)+x得到H(x)。
$$H(x)=F(x)+x$$
x是残差块的输入,H(x)是输出,这种架构表示了即使Fx什么都不干,输出仍然会有x的信息,让网络不会变差。

句个🌰:

锐化操作实际上是一组特定的卷积核提取了图像某些特定的特征,然后与原图像合并进行视觉效果上的增强。
在这里插入图片描述
上图就可以看作原图x通过卷积层提取了相应的特征,然后把卷积层的输出与原图x在进行相加,这样就把卷积层感兴趣的特征与原图都保留了下来,就保证了图像/特征至少不会变坏。

在这里插入图片描述

其中由于ReNet可以堆叠100多层,为了让控制计算量,采用1 * 1 卷积投影降低计算量。

反向传播公式推导

请添加图片描述

残差的由来

在这里插入图片描述

听过上面的图我们发现,卷积层就是F(x),而Fx= hx-x 也就是输出-输入,所以我们把这个模块也叫做残差模块。

残差模块为什么效果好

在这里插入图片描述

我们可以把残差结构看成一个集成网络,把它展开后,可以看成多个小的网络求和的结果,那么他的健壮性就很好,即使干掉其中一个,他也可以保持很好的效果。

代码实现

import torch
from torch import nn
from torch.nn import functional as F
from d2l import torch as d2l


class Residual(nn.Module):  #@save
    def __init__(self, input_channels, num_channels,
                 use_1x1conv=False, strides=1):
        super().__init__()
        self.conv1 = nn.Conv2d(input_channels, num_channels,
                               kernel_size=3, padding=1, stride=strides)
        self.conv2 = nn.Conv2d(num_channels, num_channels,
                               kernel_size=3, padding=1)
        if use_1x1conv:
            self.conv3 = nn.Conv2d(input_channels, num_channels,
                                   kernel_size=1, stride=strides)
        else:
            self.conv3 = None
        self.bn1 = nn.BatchNorm2d(num_channels)
        self.bn2 = nn.BatchNorm2d(num_channels)

    def forward(self, X):
        Y = F.relu(self.bn1(self.conv1(X)))
        Y = self.bn2(self.conv2(Y))
        if self.conv3:
            X = self.conv3(X)
        Y += X
        return F.relu(Y)
目录
相关文章
|
2天前
|
机器学习/深度学习 算法 计算机视觉
基于深度学习的停车位关键点检测系统(代码+原理)
基于深度学习的停车位关键点检测系统(代码+原理)
148 0
|
2天前
|
机器学习/深度学习 数据采集 PyTorch
图像分类保姆级教程-深度学习入门教程(附全部代码)
图像分类保姆级教程-深度学习入门教程(附全部代码)
51 1
|
2天前
|
机器学习/深度学习 编解码 API
深度学习+不良身体姿势检测+警报系统+代码+部署(姿态识别矫正系统)
深度学习+不良身体姿势检测+警报系统+代码+部署(姿态识别矫正系统)
69 0
|
2天前
|
机器学习/深度学习 算法 数据可视化
计算机视觉+深度学习+机器学习+opencv+目标检测跟踪+一站式学习(代码+视频+PPT)-2
计算机视觉+深度学习+机器学习+opencv+目标检测跟踪+一站式学习(代码+视频+PPT)
104 0
|
2天前
|
机器学习/深度学习 Ubuntu Linux
计算机视觉+深度学习+机器学习+opencv+目标检测跟踪+一站式学习(代码+视频+PPT)-1
计算机视觉+深度学习+机器学习+opencv+目标检测跟踪+一站式学习(代码+视频+PPT)
59 1
|
2天前
|
机器学习/深度学习 PyTorch 算法框架/工具
深度学习参数初始化(二)Kaiming初始化 含代码
深度学习参数初始化(二)Kaiming初始化 含代码
12 2
|
2天前
|
机器学习/深度学习 PyTorch 算法框架/工具
深度学习参数初始化(一)Xavier初始化 含代码
深度学习参数初始化(一)Xavier初始化 含代码
13 2
|
2天前
|
机器学习/深度学习 算法 数据可视化
深度学习代码通常包括以下几个主要部分
【5月更文挑战第11天】深度学习代码通常包括以下几个主要部分
6 1
|
2天前
|
机器学习/深度学习 人工智能 计算机视觉
深度学习之ResNet家族
ResNet是深度学习中的标志性架构,由何恺明在2016年提出,解决了深度网络训练的难题。ResNet通过残差块使得网络能有效学习,即使层数极深。后续发展包括ResNetV2,优化了信息传递和激活函数顺序;Wide Residual Networks侧重增加网络宽度而非深度;ResNeXt引入基数概念,通过多路径学习增强表示能力;Stochastic Depth通过随机丢弃层加速训练并提升泛化;DenseNet采用密集连接,增加信息交互;DPN结合ResNet和DenseNet优点;ResNeSt则综合了注意力机制、多路学习等。这些演变不断推动深度学习网络性能的提升。5月更文挑战第7天
28 7
|
2天前
|
机器学习/深度学习 IDE Serverless
通过阅读他人的代码是提高深度学习技能
【5月更文挑战第10天】通过阅读他人的代码是提高深度学习技能
9 4

热门文章

最新文章