NIPS2020 | DiffGCN:利用微分算子和代数多重网格池化优化图卷积

简介: NIPS2020 | DiffGCN:利用微分算子和代数多重网格池化优化图卷积

image.png

今天给大家介绍以色列本·古里安大学的研究人员发表在NIPS2020上的一篇论文。图卷积网络(GCN)在处理无序数据(如点云和网格)方面已被证明是有效的方法,作者在有限差分和代数多重网格框架的启发下,提出了用于图卷积,池化和解池化的新颖方法——DiffGCN,经各种实验证明,DiffGCN拥有最好的结果。


介绍


过去的几年中,许多工作使用标准的CNN对无序数据(例如点云和网格)执行3D相关任务。随后,GCN也用于处理与三维输入相关的任务,通过直接在数据的基础结构中进行操作,更加自然地处理非结构化数据。


这项工作中,作者利用标准CNN与偏微分方程(PDE)之间的相似性,提出了一种基于非结构化网格上的差分算子离散化图卷积方法,此类方法用于非结构化网格会导致卷积运算的抽象参数化,而该参数化与特定图形的几何形状无关。除此之外,作者还利用代数多重网格方法,提出了新颖的池化和解池化操作,可以扩大神经元感受野,降低计算成本,从从而可以实现更宽和更深的网络。


模型


作者根据图上定义的离散微分算子对图卷积核进行参数化,因此,将这种卷积称为DiffGCN。为了拥有完整的神经网络构建模块,作者还提出了AMG启发性的池化和解池算子,以扩大神经元的接受范围,并允许更广和更深的网络。


通过微分运算符进行卷积核 作者利用简单的算子来估计图上定义的非结构化特征图的梯度和拉普拉斯算子,给定无向图G =(V,E),其中V,E分别表示图的顶点和边,卷积核的公式如下,该核由图上定义的信号质量,梯度和拉普拉斯算子组成。


image.png

image.png

图1 DiffGCN 模型结构


实验


为了证明框架的有效性,作者在三个不同的数据集上进行了三个实验-分类(ModelNet40 ),部分分割(ShapeNet部件)和语义分割(S3DIS)。在所有实验中,实验数据都是从点云开始,并且在每个DiffGCN块中,根据点的特征构造一个K最近邻图。


分类结果 分类结果在所对比方法中效果最好,作者指出这种差异主要是由于拉普拉斯项加到卷积以及池化模块的贡献,结果如表1所示:

image.png

表1 分类结果

分割结果 作者在两个不同的分割数据集中测试了提出的方法,结果如表2,3所示,。在所有考虑的网络中,所提出的方法均实现了最高的mIoU:

image.png

表2 ShapeNet分割结果

image.png

表3 S3DIS分割结果


总结


作者提出了一种基于离散差分算子的新颖图卷积核,它AMG池化和解池化运算符一起构成了CNN的最重要组成部分。与目前最先进的GCN相比,DiffGCN网络显示出同等或更好的性能。作者还对标准结构的CNN和所提出方法进行了类比,与其他GCN相比,成本有所降低。


目录
相关文章
|
机器学习/深度学习 PyTorch 算法框架/工具
【论文泛读】 ResNeXt:深度神经网络的聚合残差变换(ResNet的改进,提出了一种新的维度)
【论文泛读】 ResNeXt:深度神经网络的聚合残差变换(ResNet的改进,提出了一种新的维度)
【论文泛读】 ResNeXt:深度神经网络的聚合残差变换(ResNet的改进,提出了一种新的维度)
|
6月前
|
数据可视化
R语言用Rshiny探索lme4广义线性混合模型(GLMM)和线性混合模型(LMM)
R语言用Rshiny探索lme4广义线性混合模型(GLMM)和线性混合模型(LMM)
|
6月前
|
传感器 移动开发 测试技术
通过卷积公式学习声速重建的成像模型
【1月更文挑战第1篇】通过卷积公式学习声速重建的成像模型
76 2
|
机器学习/深度学习 传感器 缓存
可分离高斯神经网络:结构、分析和函数逼近
可分离高斯神经网络:结构、分析和函数逼近
166 0
|
机器学习/深度学习 编解码 数据可视化
深度学习基础入门篇[9.2]:卷积之1*1 卷积(残差网络)、2D/3D卷积、转置卷积数学推导、应用实例
深度学习基础入门篇[9.2]:卷积之1*1 卷积(残差网络)、2D/3D卷积、转置卷积数学推导、应用实例
深度学习基础入门篇[9.2]:卷积之1*1 卷积(残差网络)、2D/3D卷积、转置卷积数学推导、应用实例
|
运维 算法
【故障诊断】基于最小熵反卷积、最大相关峰度反卷积和最大二阶环平稳盲反卷积等盲反卷积方法在机械故障诊断中的应用研究(Matlab代码实现)
【故障诊断】基于最小熵反卷积、最大相关峰度反卷积和最大二阶环平稳盲反卷积等盲反卷积方法在机械故障诊断中的应用研究(Matlab代码实现)
189 0
|
机器学习/深度学习 搜索推荐 数据挖掘
【Pytorch神经网络理论篇】 25 基于谱域图神经网络GNN:基础知识+GNN功能+矩阵基础+图卷积神经网络+拉普拉斯矩阵
图神经网络(Graph Neural Network,GNN)是一类能够从图结构数据中学习特征规律的神经网络,是解决图结构数据(非欧氏空间数据)机器学习问题的最重要的技术之一。
921 0
|
资源调度 Python
R语言-建模(广义)线性(加性、混合)模型
本分分享了在R语言中不同 线性、非线性方法进行建模的使用指南,以供参考
641 0
|
机器学习/深度学习 存储 编解码
深度学习基础入门篇[9.3]:卷积算子:空洞卷积、分组卷积、可分离卷积、可变性卷积等详细讲解以及应用场景和应用实例剖析
深度学习基础入门篇[9.3]:卷积算子:空洞卷积、分组卷积、可分离卷积、可变性卷积等详细讲解以及应用场景和应用实例剖析
206 0
|
机器学习/深度学习 人工智能 网络架构
图神经网络的困境,用微分几何和代数拓扑解决
图神经网络的困境,用微分几何和代数拓扑解决
145 0
下一篇
无影云桌面