NIPS2020 | DiffGCN:利用微分算子和代数多重网格池化优化图卷积

简介: NIPS2020 | DiffGCN:利用微分算子和代数多重网格池化优化图卷积

image.png

今天给大家介绍以色列本·古里安大学的研究人员发表在NIPS2020上的一篇论文。图卷积网络(GCN)在处理无序数据(如点云和网格)方面已被证明是有效的方法,作者在有限差分和代数多重网格框架的启发下,提出了用于图卷积,池化和解池化的新颖方法——DiffGCN,经各种实验证明,DiffGCN拥有最好的结果。


介绍


过去的几年中,许多工作使用标准的CNN对无序数据(例如点云和网格)执行3D相关任务。随后,GCN也用于处理与三维输入相关的任务,通过直接在数据的基础结构中进行操作,更加自然地处理非结构化数据。


这项工作中,作者利用标准CNN与偏微分方程(PDE)之间的相似性,提出了一种基于非结构化网格上的差分算子离散化图卷积方法,此类方法用于非结构化网格会导致卷积运算的抽象参数化,而该参数化与特定图形的几何形状无关。除此之外,作者还利用代数多重网格方法,提出了新颖的池化和解池化操作,可以扩大神经元感受野,降低计算成本,从从而可以实现更宽和更深的网络。


模型


作者根据图上定义的离散微分算子对图卷积核进行参数化,因此,将这种卷积称为DiffGCN。为了拥有完整的神经网络构建模块,作者还提出了AMG启发性的池化和解池算子,以扩大神经元的接受范围,并允许更广和更深的网络。


通过微分运算符进行卷积核 作者利用简单的算子来估计图上定义的非结构化特征图的梯度和拉普拉斯算子,给定无向图G =(V,E),其中V,E分别表示图的顶点和边,卷积核的公式如下,该核由图上定义的信号质量,梯度和拉普拉斯算子组成。


image.png

image.png

图1 DiffGCN 模型结构


实验


为了证明框架的有效性,作者在三个不同的数据集上进行了三个实验-分类(ModelNet40 ),部分分割(ShapeNet部件)和语义分割(S3DIS)。在所有实验中,实验数据都是从点云开始,并且在每个DiffGCN块中,根据点的特征构造一个K最近邻图。


分类结果 分类结果在所对比方法中效果最好,作者指出这种差异主要是由于拉普拉斯项加到卷积以及池化模块的贡献,结果如表1所示:

image.png

表1 分类结果

分割结果 作者在两个不同的分割数据集中测试了提出的方法,结果如表2,3所示,。在所有考虑的网络中,所提出的方法均实现了最高的mIoU:

image.png

表2 ShapeNet分割结果

image.png

表3 S3DIS分割结果


总结


作者提出了一种基于离散差分算子的新颖图卷积核,它AMG池化和解池化运算符一起构成了CNN的最重要组成部分。与目前最先进的GCN相比,DiffGCN网络显示出同等或更好的性能。作者还对标准结构的CNN和所提出方法进行了类比,与其他GCN相比,成本有所降低。


目录
打赏
0
0
0
0
15
分享
相关文章
RT-DETR改进策略【卷积层】| GnConv:一种通过门控卷积和递归设计来实现高效、可扩展、平移等变的高阶空间交互操作
RT-DETR改进策略【卷积层】| GnConv:一种通过门控卷积和递归设计来实现高效、可扩展、平移等变的高阶空间交互操作
86 13
RT-DETR改进策略【卷积层】| GnConv:一种通过门控卷积和递归设计来实现高效、可扩展、平移等变的高阶空间交互操作
YOLOv11改进策略【卷积层】| GnConv:一种通过门控卷积和递归设计来实现高效、可扩展、平移等变的高阶空间交互操作
YOLOv11改进策略【卷积层】| GnConv:一种通过门控卷积和递归设计来实现高效、可扩展、平移等变的高阶空间交互操作
31 0
YOLOv11改进策略【卷积层】| GnConv:一种通过门控卷积和递归设计来实现高效、可扩展、平移等变的高阶空间交互操作
一文搞懂 卷积神经网络 卷积算子应用举例 池化 激活函数
这篇文章通过案例详细解释了卷积神经网络中的卷积算子应用、池化操作和激活函数,包括如何使用卷积算子进行边缘检测和图像模糊,以及ReLU激活函数如何解决梯度消失问题。
|
10月前
Halcon基础系列之矩阵相关算子
Halcon基础系列之矩阵相关算子
142 0
|
10月前
用图直观上理解梯度算子(一阶)与拉普拉斯算子(二阶)的区别,线检测与边缘检测的区别
用图直观上理解梯度算子(一阶)与拉普拉斯算子(二阶)的区别,线检测与边缘检测的区别
426 1
深度学习基础入门篇9.1:卷积之标准卷积:卷积核/特征图/卷积计算、填充、感受视野、多通道输入输出、卷积优势和应用案例讲解
深度学习基础入门篇9.1:卷积之标准卷积:卷积核/特征图/卷积计算、填充、感受视野、多通道输入输出、卷积优势和应用案例讲解
深度学习基础入门篇9.1:卷积之标准卷积:卷积核/特征图/卷积计算、填充、感受视野、多通道输入输出、卷积优势和应用案例讲解
【故障诊断】基于最小熵反卷积、最大相关峰度反卷积和最大二阶环平稳盲反卷积等盲反卷积方法在机械故障诊断中的应用研究(Matlab代码实现)
【故障诊断】基于最小熵反卷积、最大相关峰度反卷积和最大二阶环平稳盲反卷积等盲反卷积方法在机械故障诊断中的应用研究(Matlab代码实现)
239 0
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等