祝贺!阿里巴巴获数据科学顶会最佳论文奖

简介: 祝贺!阿里巴巴获数据科学顶会最佳论文奖


刚刚,全球数据科学领域顶级会议KDD 2022大奖公布,阿里巴巴达摩院团队斩获应用科学方向“最佳论文奖”,这是中国企业首次获得该重磅奖项。



阿里巴巴达摩院获奖论文《FederatedScope-GNN: Towards a Unified, Comprehensive and Efficient Package for Federated Graph Learning》聚焦联邦学习中应用广泛且技术复杂的联邦图学习方向,针对现有框架及算法库对图数据支持有限的情况,提出了包含丰富数据集及创新算法的易用平台,为该领域后续研究奠定坚实基础。


KDD评价,该工作推动了图联邦学习的发展,并树立了优秀平台工作的榜样。


01 需求广泛但技术复杂的“联邦图学习”


(graph)是一种用于描述对象间关系的数据类型,它由节点(node)和边(edge)两部分组成,在表示复杂关系方面具有很大优势。


近年来,基于图结构的深度学习方法——图神经网络(graph neural networks),得到了学术界和工业界的广泛关注并取得了显著的成功。


而联邦学习是隐私保护计算主流技术之一,它实现了“数据不动模型动”,能让用户在数据不出本地的基础上,通过交换模型参数或中间结果的方式,在云端联合训练,让多方用户都能完成模型训练。


联邦图学习是联邦学习领域最前沿的方向之一,研究在保护各方图数据隐私的前提下,共同进行复杂的图神经网络模型训练,相关技术在科学探索、知识表示、互联网、金融等科研及工业领域有广阔需求:


研究机构可以融合各自拥有的知识图谱来更准确地补全缺失的知识;

银行可以在账户信息相互不公开的基础上,依靠转账的点边关系共同训练反洗钱模型。

不同的药企基于各自拥有的分子标注联合训练用于新药发现的图神经网络;

药企联合训练新药分子式预测模型


但现有联邦学习框架和库对图数据的支持相对有限,提供的现成图数据集、图神经网络架构、专门针对图学习设计的联邦学习算法等也还不够全面,难以基于已有工作建立联邦图学习的基准。



02 FederatedScope-GNN:为联邦图学习建立丰富基准


关注到外界对联邦图学习的需求后,阿里巴巴达摩院智能计算实验室提出并基于联邦学习框架FederatedScope实现了针对图学习的库FederatedScope-GNN,并以此工作形成了本次获奖论文。


首先,FederatedScope-GNN针对图学习提供了DataZoo和ModelZoo,分别为用户提供了丰富多样的联邦图数据集和相应模型与算法。


DataZoo:既包含若干新引入的数据集,也实现了大量不同类型的splitters,用于通过单机图数据集来构造联邦图数据集。DataZoo提供的数据集涵盖了不同领域、不同任务类型、不同统计异质性的联邦图数据,方便了使用者对所关注算法进行全面评估。


ModelZoo:提供了丰富的图神经网络实现,既包含传统的GCN, GIN, GAT, GraphSage等架构,也提供了最新的GPRGNN等拆分了特征变换与消息传播的架构。

 

同时,ModelZoo中也包含了像FedSage+和GCFL+这样最新的联邦图学习算法的实现。其中,得益于底层框架事件驱动(event-driven)的编程范式,参与者间多样的消息交换和丰富的行为得以模块化地进行拆分实现。ModelZoo给研究人员复现相关工作以及建立新的基准带来了更多便利。


基于事件驱动的底层框架来实现联邦图学习算法FedSage+


其次,针对联邦图学习对超参数敏感的现象,FederatedScope-GNN还实现了模型调优相关的模块,包括多保真度的Successive Halving Algorithm和新近提出的联邦超参优化算法FedEx,以及针对联邦异质任务的个性化。


一个个性化图神经网络示例,

其中各参与方仅共享模型的一部分参数


最后,考虑到FedSage+这类联邦图学习算法交换节点嵌入式表示等信息的特点,FederatedScope-GNN提供了丰富的隐私评估算法对算法在隐私保护方面的能力进行检验。


基于上述功能和特性,该获奖论文建立了全面丰富的联邦图学习基准,包含不同图上任务、不同图神经网络架构、不同的联邦优化算法等,为该领域后续的研究奠定了坚实基础。


KDD(ACM SIGKDD)是数据挖掘领域历史最悠久、规模最大的国际顶级学术会议,也是全球录取率最低的计算机顶会之一,在知识发现、数据挖掘、人工智能等领域具有重大影响力。


KDD会议分为研究和应用科学两个方向,本年度共收到2448篇投稿,仅接受449篇。阿里巴巴今年共有34篇论文入选,是全球入选论文数量最多的企业之一,并获得了大会应用科学方向唯一的“最佳论文奖”。


历年荣摘该桂冠的包括来自谷歌、亚马逊、卡内基梅隆大学等海外知名机构的研究团队,国内企业此前从未获得该奖。

目录
相关文章
|
6月前
|
机器学习/深度学习 人工智能 算法
【AAAI 2024】再创佳绩!阿里云人工智能平台PAI多篇论文入选
阿里云人工智能平台PAI发表的多篇论文在AAAI-2024上正式亮相发表。AAAI是由国际人工智能促进协会主办的年会,是人工智能领域中历史最悠久、涵盖内容最广泛的国际顶级学术会议之一,也是中国计算机学会(CCF)推荐的A类国际学术会议。论文成果是阿里云与浙江大学、华南理工大学联合培养项目等共同研发,深耕以通用人工智能(AGI)为目标的一系列基础科学与工程问题,包括多模态理解模型、小样本类增量学习、深度表格学习和文档版面此次入选意味着阿里云人工智能平台PAI自研的深度学习算法达到了全球业界先进水平,获得了国际学者的认可,展现了阿里云人工智能技术创新在国际上的竞争力。
|
3月前
|
人工智能 大数据
实践证明+奖学金+项目履历!魔搭社区联合主办的AI 夏令营来了
2024 AI夏令营,由Datawhale主办,联合科大讯飞、阿里云天池、蚂蚁集团、英特尔、浪潮信息、魔搭社区等国内外顶尖人工智能企业。
|
机器学习/深度学习 编解码 网络协议
创历届最好成绩!阿里云6篇论文入选顶会SIGCOMM2022
创历届最好成绩!阿里云6篇论文入选顶会SIGCOMM2022
278 0
|
存储 搜索推荐 算法
清华、人大等机构学者获唯一最佳论文奖,数据挖掘顶会WSDM'22线上召开
清华、人大等机构学者获唯一最佳论文奖,数据挖掘顶会WSDM'22线上召开
140 0
|
机器学习/深度学习 Web App开发 人工智能
IJCAI 2022四大奖项揭晓,Russell获卓越研究奖、UIUC李博获计算机与思想奖
IJCAI 2022四大奖项揭晓,Russell获卓越研究奖、UIUC李博获计算机与思想奖
159 0
|
机器学习/深度学习 人工智能
AI:2020年6月24日北京智源大会演讲分享之机器学习前沿青年科学家专题论坛——10:10-10:40鬲融教授《Towards a theoretical understanding of l 》
AI:2020年6月24日北京智源大会演讲分享之机器学习前沿青年科学家专题论坛——10:10-10:40鬲融教授《Towards a theoretical understanding of l 》
AI:2020年6月24日北京智源大会演讲分享之机器学习前沿青年科学家专题论坛——10:10-10:40鬲融教授《Towards a theoretical understanding of l 》
|
机器学习/深度学习 人工智能 自然语言处理
IJCAI 2021开幕:程序主席周志华揭晓热门研究主题,杰出论文等奖项出炉
从AI学术顶会IJCAI统计的这些数据中,洞见热门研究趋势。
219 0
IJCAI 2021开幕:程序主席周志华揭晓热门研究主题,杰出论文等奖项出炉
|
机器学习/深度学习 人工智能 安全
干货!蚂蚁金服有哪些论文入选了人工智能顶会AAAI 2020?| 开发者必读(156期)
AAAI大会被公认为人工智能领域最重磅的会议之一,被誉为人工智能领域科研的风向标。中国在人工智能领域的学术贡献也相当亮眼,此次大会录用的论文37%来自中国,连续三年占据榜首位置。在这股浩浩荡荡的AI大潮中,蚂蚁金服也紧跟技术风向,持续输出新能量。
|
机器学习/深度学习 人工智能 算法
AAAI 2019 四个杰出论文奖论文揭晓
一半都是强化学习论文
563 0