祝贺!阿里巴巴获数据科学顶会最佳论文奖

简介: 祝贺!阿里巴巴获数据科学顶会最佳论文奖


刚刚,全球数据科学领域顶级会议KDD 2022大奖公布,阿里巴巴达摩院团队斩获应用科学方向“最佳论文奖”,这是中国企业首次获得该重磅奖项。



阿里巴巴达摩院获奖论文《FederatedScope-GNN: Towards a Unified, Comprehensive and Efficient Package for Federated Graph Learning》聚焦联邦学习中应用广泛且技术复杂的联邦图学习方向,针对现有框架及算法库对图数据支持有限的情况,提出了包含丰富数据集及创新算法的易用平台,为该领域后续研究奠定坚实基础。


KDD评价,该工作推动了图联邦学习的发展,并树立了优秀平台工作的榜样。


01 需求广泛但技术复杂的“联邦图学习”


(graph)是一种用于描述对象间关系的数据类型,它由节点(node)和边(edge)两部分组成,在表示复杂关系方面具有很大优势。


近年来,基于图结构的深度学习方法——图神经网络(graph neural networks),得到了学术界和工业界的广泛关注并取得了显著的成功。


而联邦学习是隐私保护计算主流技术之一,它实现了“数据不动模型动”,能让用户在数据不出本地的基础上,通过交换模型参数或中间结果的方式,在云端联合训练,让多方用户都能完成模型训练。


联邦图学习是联邦学习领域最前沿的方向之一,研究在保护各方图数据隐私的前提下,共同进行复杂的图神经网络模型训练,相关技术在科学探索、知识表示、互联网、金融等科研及工业领域有广阔需求:


研究机构可以融合各自拥有的知识图谱来更准确地补全缺失的知识;

银行可以在账户信息相互不公开的基础上,依靠转账的点边关系共同训练反洗钱模型。

不同的药企基于各自拥有的分子标注联合训练用于新药发现的图神经网络;

药企联合训练新药分子式预测模型


但现有联邦学习框架和库对图数据的支持相对有限,提供的现成图数据集、图神经网络架构、专门针对图学习设计的联邦学习算法等也还不够全面,难以基于已有工作建立联邦图学习的基准。



02 FederatedScope-GNN:为联邦图学习建立丰富基准


关注到外界对联邦图学习的需求后,阿里巴巴达摩院智能计算实验室提出并基于联邦学习框架FederatedScope实现了针对图学习的库FederatedScope-GNN,并以此工作形成了本次获奖论文。


首先,FederatedScope-GNN针对图学习提供了DataZoo和ModelZoo,分别为用户提供了丰富多样的联邦图数据集和相应模型与算法。


DataZoo:既包含若干新引入的数据集,也实现了大量不同类型的splitters,用于通过单机图数据集来构造联邦图数据集。DataZoo提供的数据集涵盖了不同领域、不同任务类型、不同统计异质性的联邦图数据,方便了使用者对所关注算法进行全面评估。


ModelZoo:提供了丰富的图神经网络实现,既包含传统的GCN, GIN, GAT, GraphSage等架构,也提供了最新的GPRGNN等拆分了特征变换与消息传播的架构。

 

同时,ModelZoo中也包含了像FedSage+和GCFL+这样最新的联邦图学习算法的实现。其中,得益于底层框架事件驱动(event-driven)的编程范式,参与者间多样的消息交换和丰富的行为得以模块化地进行拆分实现。ModelZoo给研究人员复现相关工作以及建立新的基准带来了更多便利。


基于事件驱动的底层框架来实现联邦图学习算法FedSage+


其次,针对联邦图学习对超参数敏感的现象,FederatedScope-GNN还实现了模型调优相关的模块,包括多保真度的Successive Halving Algorithm和新近提出的联邦超参优化算法FedEx,以及针对联邦异质任务的个性化。


一个个性化图神经网络示例,

其中各参与方仅共享模型的一部分参数


最后,考虑到FedSage+这类联邦图学习算法交换节点嵌入式表示等信息的特点,FederatedScope-GNN提供了丰富的隐私评估算法对算法在隐私保护方面的能力进行检验。


基于上述功能和特性,该获奖论文建立了全面丰富的联邦图学习基准,包含不同图上任务、不同图神经网络架构、不同的联邦优化算法等,为该领域后续的研究奠定了坚实基础。


KDD(ACM SIGKDD)是数据挖掘领域历史最悠久、规模最大的国际顶级学术会议,也是全球录取率最低的计算机顶会之一,在知识发现、数据挖掘、人工智能等领域具有重大影响力。


KDD会议分为研究和应用科学两个方向,本年度共收到2448篇投稿,仅接受449篇。阿里巴巴今年共有34篇论文入选,是全球入选论文数量最多的企业之一,并获得了大会应用科学方向唯一的“最佳论文奖”。


历年荣摘该桂冠的包括来自谷歌、亚马逊、卡内基梅隆大学等海外知名机构的研究团队,国内企业此前从未获得该奖。

目录
相关文章
|
3月前
|
机器学习/深度学习 存储 人工智能
【数据挖掘】2022年2023届秋招知能科技公司机器学习算法工程师 笔试题
本文是关于2022-2023年知能科技公司机器学习算法工程师岗位的秋招笔试题,包括简答题和编程题,简答题涉及神经网络防止过拟合的方法、ReLU激活函数的使用原因以及条件概率计算,编程题包括路径行走时间计算和两车相向而行相遇时间问题。
70 2
【数据挖掘】2022年2023届秋招知能科技公司机器学习算法工程师 笔试题
|
3月前
|
机器学习/深度学习 算法 数据挖掘
【数据挖掘】2022年2023届秋招宏瓴科技公司机器学习算法工程师 笔试题
关于宏瓴科技有限公司2022-2023年秋招机器学习算法工程师岗位的笔试题目及作者个人对部分题目的解答尝试,涉及贝叶斯误差和贝叶斯最优分类器的概念、贝叶斯误差的重要性和估算方法,以及如何有效利用训练集和测试集进行深度学习模型训练的数据集划分策略。
53 4
|
机器学习/深度学习 编解码 网络协议
创历届最好成绩!阿里云6篇论文入选顶会SIGCOMM2022
创历届最好成绩!阿里云6篇论文入选顶会SIGCOMM2022
274 0
|
云安全 安全 Cloud Native
首添机密计算创新成果!龙蜥首获 ACM SIGSOFT 杰出论文奖
通过Lejacon构建的Java机密应用,最高可得16.2倍提升,极大提升了机密应用的安全性。
|
存储 搜索推荐 算法
清华、人大等机构学者获唯一最佳论文奖,数据挖掘顶会WSDM'22线上召开
清华、人大等机构学者获唯一最佳论文奖,数据挖掘顶会WSDM'22线上召开
139 0
|
机器学习/深度学习 Web App开发 人工智能
IJCAI 2022四大奖项揭晓,Russell获卓越研究奖、UIUC李博获计算机与思想奖
IJCAI 2022四大奖项揭晓,Russell获卓越研究奖、UIUC李博获计算机与思想奖
158 0
|
机器学习/深度学习 人工智能
《蚂蚁金服人工智能部研究员ICML贡献论文01》电子版地址
蚂蚁金服人工智能部研究员ICML贡献论文01
74 0
《蚂蚁金服人工智能部研究员ICML贡献论文01》电子版地址
|
机器学习/深度学习 人工智能
AI:2020年6月24日北京智源大会演讲分享之机器学习前沿青年科学家专题论坛——10:10-10:40鬲融教授《Towards a theoretical understanding of l 》
AI:2020年6月24日北京智源大会演讲分享之机器学习前沿青年科学家专题论坛——10:10-10:40鬲融教授《Towards a theoretical understanding of l 》
AI:2020年6月24日北京智源大会演讲分享之机器学习前沿青年科学家专题论坛——10:10-10:40鬲融教授《Towards a theoretical understanding of l 》
|
机器学习/深度学习 人工智能 自然语言处理
IJCAI 2021开幕:程序主席周志华揭晓热门研究主题,杰出论文等奖项出炉
从AI学术顶会IJCAI统计的这些数据中,洞见热门研究趋势。
219 0
IJCAI 2021开幕:程序主席周志华揭晓热门研究主题,杰出论文等奖项出炉
|
机器学习/深度学习 人工智能 自然语言处理
AI公开课:18.05.16 周明博士(MSRA副院长)—北大AI第十一讲之《语言智能的进展》课堂笔记——你了解语言智能
周明博士,微软亚洲研究院副院长、国际计算语言学协会(ACL)候任主席、中国计算机学会理事、中文信息技术专委会主任、中国中文信息学会常务理事、哈尔滨工业大学、天津大学、南开大学、北航等多所学校博士导师。周明博士1991年获哈尔滨工业大学博士学位。1991-1993年清华大学博士后,随后留校任副教授。1996-1999访问日本高电社公司领导中日机器翻译研究。他是中国第一个中英翻译系统CEMT-I(哈工大1989年)、日本最有名的中日机器翻译产品J-北京(日本高电社1998年)的研制者。1999年,周明博士加入微软亚洲研究院,不久开始负责自然语言研究组。他带领团队进行了微软输入法、英库词典(必应词典