深度残差收缩网络(1):背景知识

简介: 深度残差收缩网络,英文名为Deep Residual Shrinkage Network,是深度残差网络(Deep Residual Network, ResNet)的一种改进,发表在IEEE Transactions on Industrial Informatics上,面向的是数据含有噪声的情况。

深度残差收缩网络,英文名为Deep Residual Shrinkage Network,是深度残差网络(Deep Residual Network, ResNet)的一种改进,发表在IEEE Transactions on Industrial Informatics上,面向的是数据含有噪声的情况

简单地讲,深度残差收缩网络就是,在注意力机制下,将软阈值化作为可训练的模块,嵌入到ResNet之中。接下来结合自己的理解,解读一下相关的背景知识。

1.噪声的含义

如上所述,深度残差收缩网络面向的是数据含有噪声的情况。事实上,这里的“噪声”,可以有更宽泛的解释。“噪声”不仅可以指数据获取过程中所掺杂的噪声,而且可以指“与当前任务无关的信息”。

比如说,我们在训练一个猫狗分类器的时候,如果图像中存在老鼠,那么老鼠就可以理解为一种噪声
2

或者说,在故障诊断领域,对于一个复杂的机械系统,可能存在很多个激振源。许多个轴、轴承、齿轮和联轴器等的旋转或啮合都可能会激发振动。这些振动成分都混杂在所采集的振动信号中。如果我们的目的是检测某一零件(比如某一个齿轮)是否发生故障,则其他零件所激发的振动,在一定程度上,都可以理解为噪声。

从这个角度来讲的话,深度残差收缩网络可能有着更宽广的应用场景。

2.软阈值化(soft thresholding)

软阈值化是信号降噪里非常常用的一个函数。它的功能是将一段信号的值,朝着“零”的方向进行收缩。比如,在下面的这张图片里,横轴x表示输入,纵轴y表示输出。那么,相较于输入信号,输出信号就朝着“零”发生了收缩。
2

这种降噪方式有一个前提。那就是,接近于零的部分是噪声,或者说,是不重要的,可以被剔除掉。然而,事实上,对于很多信号,接近于零的部分,可能包含着许多有用的信息,不能直接被剔除掉。所以,现在通常不会直接对原始信号进行软阈值化处理。

针对上面这个问题,传统的思路是将原始信号进行某种变换,将原始信号转换成其他形式的表征。理想情况下,在这种转换后的表征里,接近于零的部分,是无用的噪声。在这个时候,再采用软阈值化对转换后的表征进行处理。最后,将软阈值化处理之后的表征,重构回去,获得降噪后的信号。

举个例子,小波分析经常作为信号的变换方法。一种经典的小波降噪流程是“小波分解→软阈值化→小波重构”。通过这种方式,就可以实现信号的降噪。

然而,这种传统的信号降噪方式有一些悬而未决的问题:

  • 首先,在小波分析中,如何构建最适合当前信号的小波函数,或者说滤波器、局部滤波算子,一直是一个很困难的问题。换句话说,在小波分解之后,可以获得一个信号表征(一组小波系数);在这个信号表征里面,接近于零的部分,未必就是噪声,可能还包含着许多有用的信息;对这个表征进行软阈值化,可能会将有用信息给一并删除了。
  • 其次,如何设置软阈值化的阈值,是一个很困难的问题

3.深度残差学习(ResNet)

相较于传统的小波分析,深度学习算法(尤其是卷积神经网络)可以自动地学习所需要的滤波器,在一定程度上解决了构建合适滤波器的问题。深度残差网络ResNet是一种改进的卷积神经网络,通过引入跨层连接,降低了模型训练的难度,见下图:
2

在跨层连接的作用下,网络参数的训练难度大幅降低,从而更容易训练出效果很好的深度学习模型,因此ResNet成为了一种非常知名的方法。深度残差收缩网络就是ResNet的一种改进。

到这里就介绍了一些相关的背景知识,后续再介绍深度残差收缩网络的细节。

转载网址:
深度残差收缩网络:(一)背景知识 https://www.cnblogs.com/yc-9527/p/11598844.html
深度残差收缩网络:(二)整体思路 https://www.cnblogs.com/yc-9527/p/11601322.html
深度残差收缩网络:(三)网络结构 https://www.cnblogs.com/yc-9527/p/11603320.html
深度残差收缩网络:(四)注意力机制下的阈值设置 https://www.cnblogs.com/yc-9527/p/11604082.html
深度残差收缩网络:(五)实验验证 https://www.cnblogs.com/yc-9527/p/11610073.html

论文网址:
M. Zhao, S. Zhong, X. Fu, B. Tang, and M. Pecht, “Deep Residual Shrinkage Networks for Fault Diagnosis,” IEEE Transactions on Industrial Informatics, 2019, DOI: 10.1109/TII.2019.2943898
https://ieeexplore.ieee.org/document/8850096

相关文章
|
5月前
|
机器学习/深度学习 PyTorch 算法框架/工具
【从零开始学习深度学习】31. 卷积神经网络之残差网络(ResNet)介绍及其Pytorch实现
【从零开始学习深度学习】31. 卷积神经网络之残差网络(ResNet)介绍及其Pytorch实现
|
17天前
|
机器学习/深度学习 API 算法框架/工具
残差网络(ResNet) -深度学习(Residual Networks (ResNet) – Deep Learning)
残差网络(ResNet) -深度学习(Residual Networks (ResNet) – Deep Learning)
31 0
|
4月前
|
计算机视觉 网络架构
【YOLOv8改进 - 卷积Conv】DWRSeg:扩张式残差分割网络,提高特征提取效率和多尺度信息获取能力,助力小目标检测
YOLO目标检测专栏探讨了YOLO的创新改进,如多尺度特征提取的DWRSeg网络。该网络通过区域残差化和语义残差化提升效率,使用DWR和SIR模块优化高层和低层特征。DWRSeg在Cityscapes和CamVid数据集上表现优秀,速度与准确性兼备。论文和代码已公开。核心代码展示了一个包含DWR模块的卷积层。更多配置详情见相关链接。
|
6月前
|
机器学习/深度学习 测试技术 Ruby
YOLOv5改进 | 主干篇 | 反向残差块网络EMO一种轻量级的CNN架构(附完整代码 + 修改教程)
YOLOv5改进 | 主干篇 | 反向残差块网络EMO一种轻量级的CNN架构(附完整代码 + 修改教程)
243 2
|
人工智能 大数据 5G
带你读《智慧光网络:关键技术、应用实践和未来演进》——1.1 智慧光网络产生的背景
带你读《智慧光网络:关键技术、应用实践和未来演进》——1.1 智慧光网络产生的背景
|
DataWorks 数据库
带你读《全链路数据治理-全域数据集成》之15:1. 背景信息
带你读《全链路数据治理-全域数据集成》之15:1. 背景信息
112 0
|
网络协议 程序员 网络安全
网络发展背景、TCP/IP五层模型、网络传输基本流程、ip地址与端口概念(2)
我们之前在学习系统编程的时候, 学习了 pid 表示唯一一个进程; 此处我们的端口号也是唯一表示一个进程. 那么这 两者之间是怎样的关系?
189 0
|
网络协议 网络架构
网络发展背景、TCP/IP五层模型、网络传输基本流程、ip地址与端口概念(1)
众所周知,计算机最早设计出来是进行单机计算(计算弹道导弹),那网络的发展流程是咋样的呢?
112 0
|
机器学习/深度学习 编解码 算法
CVPR2022 | 浙大、蚂蚁集团提出基于标签关系树的层级残差多粒度分类网络,建模多粒度标签间的层级知识(2)
CVPR2022 | 浙大、蚂蚁集团提出基于标签关系树的层级残差多粒度分类网络,建模多粒度标签间的层级知识
102 0
|
机器学习/深度学习 编解码 算法
CVPR2022 | 浙大、蚂蚁集团提出基于标签关系树的层级残差多粒度分类网络,建模多粒度标签间的层级知识(1)
CVPR2022 | 浙大、蚂蚁集团提出基于标签关系树的层级残差多粒度分类网络,建模多粒度标签间的层级知识
146 0