NIPS2020 | DiffGCN:利用微分算子和代数多重网格池化优化图卷积

简介: NIPS2020 | DiffGCN:利用微分算子和代数多重网格池化优化图卷积

image.png

今天给大家介绍以色列本·古里安大学的研究人员发表在NIPS2020上的一篇论文。图卷积网络(GCN)在处理无序数据(如点云和网格)方面已被证明是有效的方法,作者在有限差分和代数多重网格框架的启发下,提出了用于图卷积,池化和解池化的新颖方法——DiffGCN,经各种实验证明,DiffGCN拥有最好的结果。


介绍


过去的几年中,许多工作使用标准的CNN对无序数据(例如点云和网格)执行3D相关任务。随后,GCN也用于处理与三维输入相关的任务,通过直接在数据的基础结构中进行操作,更加自然地处理非结构化数据。


这项工作中,作者利用标准CNN与偏微分方程(PDE)之间的相似性,提出了一种基于非结构化网格上的差分算子离散化图卷积方法,此类方法用于非结构化网格会导致卷积运算的抽象参数化,而该参数化与特定图形的几何形状无关。除此之外,作者还利用代数多重网格方法,提出了新颖的池化和解池化操作,可以扩大神经元感受野,降低计算成本,从从而可以实现更宽和更深的网络。


模型


作者根据图上定义的离散微分算子对图卷积核进行参数化,因此,将这种卷积称为DiffGCN。为了拥有完整的神经网络构建模块,作者还提出了AMG启发性的池化和解池算子,以扩大神经元的接受范围,并允许更广和更深的网络。


通过微分运算符进行卷积核 作者利用简单的算子来估计图上定义的非结构化特征图的梯度和拉普拉斯算子,给定无向图G =(V,E),其中V,E分别表示图的顶点和边,卷积核的公式如下,该核由图上定义的信号质量,梯度和拉普拉斯算子组成。


image.png

image.png

图1 DiffGCN 模型结构


实验


为了证明框架的有效性,作者在三个不同的数据集上进行了三个实验-分类(ModelNet40 ),部分分割(ShapeNet部件)和语义分割(S3DIS)。在所有实验中,实验数据都是从点云开始,并且在每个DiffGCN块中,根据点的特征构造一个K最近邻图。


分类结果 分类结果在所对比方法中效果最好,作者指出这种差异主要是由于拉普拉斯项加到卷积以及池化模块的贡献,结果如表1所示:

image.png

表1 分类结果

分割结果 作者在两个不同的分割数据集中测试了提出的方法,结果如表2,3所示,。在所有考虑的网络中,所提出的方法均实现了最高的mIoU:

image.png

表2 ShapeNet分割结果

image.png

表3 S3DIS分割结果


总结


作者提出了一种基于离散差分算子的新颖图卷积核,它AMG池化和解池化运算符一起构成了CNN的最重要组成部分。与目前最先进的GCN相比,DiffGCN网络显示出同等或更好的性能。作者还对标准结构的CNN和所提出方法进行了类比,与其他GCN相比,成本有所降低。


目录
相关文章
|
弹性计算 Cloud Native 5G
藏经阁2023年书籍推荐
好书一起看,技术干货学习就上藏经阁。藏经阁收录内容涵盖编程语言、云原生、数据库、大数据、AI等热门技术领域,让开发者们享受阅读优质内容。这次为您带来2023年4月至2024年1月的书籍推荐。
1907 5
|
机器学习/深度学习 算法框架/工具
什么是ablation study(消融实验)?
什么是ablation study(消融实验)?
什么是ablation study(消融实验)?
|
自然语言处理 算法 数据挖掘
自蒸馏:一种简单高效的优化方式
背景知识蒸馏(knowledge distillation)指的是将预训练好的教师模型的知识通过蒸馏的方式迁移至学生模型,一般来说,教师模型会比学生模型网络容量更大,模型结构更复杂。对于学生而言,主要增益信息来自于更强的模型产出的带有更多可信信息的soft_label。例如下右图中,两个“2”对应的hard_label都是一样的,即0-9分类中,仅“2”类别对应概率为1.0,而soft_label
自蒸馏:一种简单高效的优化方式
|
机器学习/深度学习 数据采集 算法
机器学习实战:基于sklearn的工业蒸汽量预测
机器学习实战:基于sklearn的工业蒸汽量预测
647 0
|
SQL 存储 运维
MySQL查询优化终极版(强烈建议收藏)
select查询优化一直是日常开发和数据库运维绕不开的一道坎,SQL的查询速度决定了页面的加载速度,进一步决定了客户浏览体验。
541 0
MySQL查询优化终极版(强烈建议收藏)
|
人工智能 Serverless API
10 分钟打造你的专属 AI 客服
在这个数字化时代,提供卓越的客户服务已成为企业脱颖而出的关键。为了满足这一需求,越来越多的企业开始探索人工智能(AI)助手的应用,以实现全天候(7x24)的客户咨询响应,全面提升用户体验和业务竞争力。本解决方案通过函数计算FC 和大模型服务平台百炼,为您提供一个高效便捷构建 AI 助手思路。
1105 43
|
数据采集 人工智能 安全
亮数据:数据采集行业痛点的利器
在数据驱动的时代,企业需高效采集大量数据以作出明智决策,但面临IP限制、验证码识别和效率低下的挑战。BrightData应运而生,提供丰富的代理IP资源、高匿名性和稳定性保障,以及智能IP更换策略,有效解决IP限制问题。其创新的亮数据浏览器工具,通过自动化和AI技术,突破复杂网站结构和反数据采集机制,降低抓取成本,提升效率。BrightData的解决方案已在多个行业中发挥作用,助力企业数字化转型。
2230 0
亮数据:数据采集行业痛点的利器
|
机器学习/深度学习 人工智能 数据挖掘
【AI 生成式】半监督学习和自监督学习的概念
【5月更文挑战第4天】【AI 生成式】半监督学习和自监督学习的概念
|
机器学习/深度学习 算法
【决策树】一文看懂图解决策树原理:信息熵、条件熵与信息增益
【决策树】一文看懂图解决策树原理:信息熵、条件熵与信息增益
|
Linux 网络安全 开发工具
【超详细!超多图!】【代码管理】Python微信公众号开发(3)- 服务器代码上传Github
【超详细!超多图!】【代码管理】Python微信公众号开发(3)- 服务器代码上传Github
511 0