《CNN中的“卷积”:互相关运算的“名不副实”与内在缘由》

简介: 卷积神经网络(CNN)在图像识别等领域取得巨大成功,但实际上采用的是互相关运算而非严格意义上的卷积。互相关省去了滤波器翻转步骤,提高了计算效率,且在特征提取上与卷积效果相似。早期研究中未严格区分两者,沿用了“卷积”一词。尽管存在细微差异,这种称呼在大多数应用场景下是合理的,但在理论推导和高精度应用中需明确区分。

在深度学习的世界里,卷积神经网络(CNN)无疑是一颗璀璨的明星,在图像识别、目标检测等众多领域取得了巨大的成功。然而,一个有趣的现象是,CNN中实际采用的运算并非严格意义上的卷积,而是互相关运算,那为什么还将其称为卷积呢?这背后蕴含着一些深刻的原因。

要理解这个问题,首先需要清楚卷积和互相关运算的区别与联系。卷积和互相关运算在操作上有相似之处,都是通过在输入数据上滑动一个滤波器(或核)来进行计算。但在计算方式上,二者存在关键差异。卷积运算需要将滤波器进行翻转,然后再与输入数据进行滑动点积;而互相关运算则直接将滤波器在输入数据上滑动并计算点积,滤波器不进行翻转。

在CNN中采用互相关运算而非卷积运算,主要有以下几个原因。从计算效率方面来看,互相关运算不需要对滤波器进行翻转操作,这大大简化了计算过程,提高了运算速度。在处理大规模图像数据时,计算效率的提升尤为重要,这使得互相关运算在实际应用中更具优势。从特征提取的角度而言,虽然卷积和互相关运算在数学定义上有所不同,但在CNN的实际应用中,它们对于特征提取的效果是相似的。CNN的核心目标是通过学习合适的滤波器来提取输入数据中的特征,无论是卷积还是互相关运算,都能够实现这一目标。因为滤波器的参数是通过训练学习得到的,在训练过程中,网络会自动调整滤波器的权重,以适应输入数据的特征分布,所以使用互相关运算同样可以有效地提取图像中的边缘、纹理等特征。此外,从历史和习惯的角度来看,在CNN发展的早期,研究人员可能并没有对卷积和互相关运算进行严格的区分,或者是出于某些原因选择了使用互相关运算,但仍然沿用了“卷积”这个术语。随着CNN的广泛应用和发展,这种称呼就逐渐被固定下来,成为了一种行业惯例。

尽管在CNN中使用的是互相关运算,但将其称为卷积也并非完全没有道理。从功能层面来看,无论是卷积还是互相关运算,它们都实现了对输入数据的加权求和操作,通过滤波器与输入数据的局部区域进行交互,提取出数据中的局部特征。这种局部特征提取的功能是CNN能够有效处理图像等数据的关键所在。从数学性质上分析,卷积和互相关运算具有一些相似的数学性质,比如它们都是线性运算,都满足交换律(在一定条件下)等。这些相似的数学性质使得在理论分析和模型设计中,可以将互相关运算近似地看作卷积运算来处理,不会对整体的理解和分析造成太大的障碍。

虽然在大多数情况下,将CNN中的互相关运算称为卷积不会引起太大的问题,但在一些特定的场景下,还是需要明确二者的区别。例如,在进行理论推导和数学证明时,需要严格区分卷积和互相关运算的定义和性质,以确保推导的正确性。在某些对计算精度要求极高的应用中,也需要考虑卷积和互相关运算在边界处理等方面的细微差异,以获得更准确的结果。

CNN中采用互相关运算却仍称为卷积,是多种因素综合作用的结果。虽然这种称呼在一定程度上存在“名不副实”的情况,但从实际应用和行业习惯的角度来看,也有其合理性。理解这一现象背后的原因,有助于我们更好地掌握CNN的工作原理,在实际应用中更加灵活地运用这一强大的深度学习技术。

相关文章
|
1月前
|
机器学习/深度学习 计算机视觉
《深度剖析:残差连接如何攻克深度卷积神经网络的梯度与退化难题》
残差连接通过引入“短路”连接,解决了深度卷积神经网络(CNN)中随层数增加而出现的梯度消失和退化问题。它使网络学习输入与输出之间的残差,而非直接映射,从而加速训练、提高性能,并允许网络学习更复杂的特征。这一设计显著提升了深度学习在图像识别等领域的应用效果。
63 13
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
《C++ 中 RNN 及其变体梯度问题的深度剖析与解决之道》
在AI发展浪潮中,RNN及其变体LSTM、GRU在处理序列数据上展现出巨大潜力。但在C++实现时,面临梯度消失和爆炸问题,影响模型学习长期依赖关系。本文探讨了这些问题的根源及解决方案,如梯度裁剪、合理初始化、选择合适激活函数、截断反向传播和优化网络结构等,旨在帮助开发者构建更有效的模型。
61 9
|
9月前
|
机器学习/深度学习
【从零开始学习深度学习】24.神经网络中池化层的作用:最大池化与平均池化
【从零开始学习深度学习】24.神经网络中池化层的作用:最大池化与平均池化
|
9月前
|
机器学习/深度学习
【从零开始学习深度学习】21. 卷积神经网络(CNN)之二维卷积层原理介绍、如何用卷积层检测物体边缘
【从零开始学习深度学习】21. 卷积神经网络(CNN)之二维卷积层原理介绍、如何用卷积层检测物体边缘
|
数据挖掘
一种分解多种信号模式非线性线性调频的方法研究(Matlab代码实现)
一种分解多种信号模式非线性线性调频的方法研究(Matlab代码实现)
154 0
|
机器学习/深度学习 编解码 数据可视化
深度学习基础入门篇[9.2]:卷积之1*1 卷积(残差网络)、2D/3D卷积、转置卷积数学推导、应用实例
深度学习基础入门篇[9.2]:卷积之1*1 卷积(残差网络)、2D/3D卷积、转置卷积数学推导、应用实例
深度学习基础入门篇[9.2]:卷积之1*1 卷积(残差网络)、2D/3D卷积、转置卷积数学推导、应用实例
|
机器学习/深度学习 编解码 数据可视化
深度学习基础入门篇9.1:卷积之标准卷积:卷积核/特征图/卷积计算、填充、感受视野、多通道输入输出、卷积优势和应用案例讲解
深度学习基础入门篇9.1:卷积之标准卷积:卷积核/特征图/卷积计算、填充、感受视野、多通道输入输出、卷积优势和应用案例讲解
深度学习基础入门篇9.1:卷积之标准卷积:卷积核/特征图/卷积计算、填充、感受视野、多通道输入输出、卷积优势和应用案例讲解
|
机器学习/深度学习 大数据
相较神经网络,大名鼎鼎的傅里叶变换,为何没有一统函数逼近器?答案在这
相较神经网络,大名鼎鼎的傅里叶变换,为何没有一统函数逼近器?答案在这
119 0
|
机器学习/深度学习 人工智能 监控
【Pytorch神经网络理论篇】 35 GaitSet模型:步态识别思路+水平金字塔池化+三元损失
步态特征的距离匹配,对人在多拍摄角度、多行走条件下进行特征提取,得到基于个体的步态特征,再用该特征与其他个体进行比较,从而识别出该个体的具体身份。
653 0
|
机器学习/深度学习 编解码 算法
【Pytorch神经网络理论篇】 32 PNASNet模型:深层可分离卷积+组卷积+空洞卷积
PNASNet模型是Google公司的AutoML架构自动搜索所产生的模型,它使用渐进式网络架构搜索技术,并通过迭代自学习的方式,来寻找最优网络结构。即用机器来设计机器学习算法,使得它能够更好地服务于用户提供的数据。该模型在ImageNet数据集上Top-1准确率达到82.9%,Top-5准确率达到96。2%,是目前最好的图片分类模型之一。
245 0