NIPS2020 | DiffGCN:利用微分算子和代数多重网格池化优化图卷积

简介: NIPS2020 | DiffGCN:利用微分算子和代数多重网格池化优化图卷积

image.png

今天给大家介绍以色列本·古里安大学的研究人员发表在NIPS2020上的一篇论文。图卷积网络(GCN)在处理无序数据(如点云和网格)方面已被证明是有效的方法,作者在有限差分和代数多重网格框架的启发下,提出了用于图卷积,池化和解池化的新颖方法——DiffGCN,经各种实验证明,DiffGCN拥有最好的结果。


介绍


过去的几年中,许多工作使用标准的CNN对无序数据(例如点云和网格)执行3D相关任务。随后,GCN也用于处理与三维输入相关的任务,通过直接在数据的基础结构中进行操作,更加自然地处理非结构化数据。


这项工作中,作者利用标准CNN与偏微分方程(PDE)之间的相似性,提出了一种基于非结构化网格上的差分算子离散化图卷积方法,此类方法用于非结构化网格会导致卷积运算的抽象参数化,而该参数化与特定图形的几何形状无关。除此之外,作者还利用代数多重网格方法,提出了新颖的池化和解池化操作,可以扩大神经元感受野,降低计算成本,从从而可以实现更宽和更深的网络。


模型


作者根据图上定义的离散微分算子对图卷积核进行参数化,因此,将这种卷积称为DiffGCN。为了拥有完整的神经网络构建模块,作者还提出了AMG启发性的池化和解池算子,以扩大神经元的接受范围,并允许更广和更深的网络。


通过微分运算符进行卷积核 作者利用简单的算子来估计图上定义的非结构化特征图的梯度和拉普拉斯算子,给定无向图G =(V,E),其中V,E分别表示图的顶点和边,卷积核的公式如下,该核由图上定义的信号质量,梯度和拉普拉斯算子组成。


image.png

image.png

图1 DiffGCN 模型结构


实验


为了证明框架的有效性,作者在三个不同的数据集上进行了三个实验-分类(ModelNet40 ),部分分割(ShapeNet部件)和语义分割(S3DIS)。在所有实验中,实验数据都是从点云开始,并且在每个DiffGCN块中,根据点的特征构造一个K最近邻图。


分类结果 分类结果在所对比方法中效果最好,作者指出这种差异主要是由于拉普拉斯项加到卷积以及池化模块的贡献,结果如表1所示:

image.png

表1 分类结果

分割结果 作者在两个不同的分割数据集中测试了提出的方法,结果如表2,3所示,。在所有考虑的网络中,所提出的方法均实现了最高的mIoU:

image.png

表2 ShapeNet分割结果

image.png

表3 S3DIS分割结果


总结


作者提出了一种基于离散差分算子的新颖图卷积核,它AMG池化和解池化运算符一起构成了CNN的最重要组成部分。与目前最先进的GCN相比,DiffGCN网络显示出同等或更好的性能。作者还对标准结构的CNN和所提出方法进行了类比,与其他GCN相比,成本有所降低。


目录
相关文章
|
机器学习/深度学习 数据采集 算法
机器学习实战:基于sklearn的工业蒸汽量预测
机器学习实战:基于sklearn的工业蒸汽量预测
483 0
|
机器学习/深度学习 算法框架/工具
什么是ablation study(消融实验)?
什么是ablation study(消融实验)?
什么是ablation study(消融实验)?
|
算法 安全 C++
【C++ 泛型编程 入门篇】深入探索C++的numeric_limits:全面理解数值界限(一)
【C++ 泛型编程 入门篇】深入探索C++的numeric_limits:全面理解数值界限
631 0
|
11月前
|
缓存 人工智能 算法
深度揭秘复杂异构硬件推理优化
本文介绍了大语言模型在部署推理层面的性能优化工作,涵盖高性能算子、量化压缩、高效运行时及分布式调度四个方面。面对参数和上下文规模增长带来的显存、缓存与计算开销挑战,文中详细探讨了如何通过优化算子性能、低精度量化压缩、异步运行时框架设计以及多层次分布式架构来提升大模型推理效率。此外,还展示了BladeLLM引擎框架的实际应用效果,证明了这些技术在高并发场景下的显著性能提升。
|
存储 机器学习/深度学习 算法
Adam-mini:内存占用减半,性能更优的深度学习优化器
论文提出一种新的优化器Adam-mini,在不牺牲性能的情况下减少Adam优化器的内存占用。
451 10
Adam-mini:内存占用减半,性能更优的深度学习优化器
|
机器学习/深度学习 TensorFlow 算法框架/工具
使用Python实现深度学习模型:跨平台模型移植与部署
【7月更文挑战第10天】 使用Python实现深度学习模型:跨平台模型移植与部署
824 1
|
机器学习/深度学习 存储 自然语言处理
|
机器学习/深度学习 人工智能 数据挖掘
【AI 生成式】半监督学习和自监督学习的概念
【5月更文挑战第4天】【AI 生成式】半监督学习和自监督学习的概念
|
编解码 程序员 开发者
【Python】已解决:UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xa1 in position 0: invalid start by
【Python】已解决:UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xa1 in position 0: invalid start by
10460 0
|
Unix 编译器 开发工具
Cmake 命令行参数:探索 Cmake 的设置和配置选项
Cmake 命令行参数:探索 Cmake 的设置和配置选项
2149 1