开发者社区> 檸,铮> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

10亿节点异构网络中,GCN 如何应用?

简介: 推荐系统普遍是基于用户偏好的商品或者商品关系来建模学习,这些关系通常可以用网络结构表示,在淘宝这样的复杂场景网络常常是十亿节点和上百亿的边,计算和推理复杂度高挑战大,网络嵌入方法(Network Embedding)能够学习网络中节点的低维度潜在表示,可以用所学表征在低维空间实现相关推荐。本篇论文收录于KDD2019,建议大家收藏阅读哦。
+关注继续查看

作者 | 赵军、周洲、管子玉、赵伟、宁伟、仇光、何晓飞

1. 引言

在构图中用户和商品的交互行为通常是最直接也是最有效的边连接方式,是一种显式的用户偏好刻画,并取得一定的推荐效果提升,该方案存在的最大问题是显式交互数据存在较大的数据稀疏性。而在实际场景中是存在大量的异构信息可以引入提升网络表征的丰富性,比如用户的搜索词、访问店铺、偏好品牌、偏好属性等等,这些特征可以提升更丰富的语义表示和相关性刻画,intentGC是本文提出的一种基于GCN的统一的网络嵌入学习框架,融合显式偏好关系以及丰富的用户和商品异构关系信息,提升推荐系统的效果,算法中最为核心的技术是图卷积,我们在经典图卷积的基础之上做了一些创新优化,以更好地解决我们业务中存在的强异构性、大规模性等核心挑战。

123101.png

2. 问题定义

444F4C83-B471-4996-8FBF-74216C56F595.png

3. 模型设计

本文设计的模型融合多种信息的大规模图卷积学习算法,采用二部异构图建模,loss设计采用triplet目标,可以有效的控制和侧重学习用户的显示偏好和表达,整个学习过程是一个半监督的模式,有效利用了电商体系内大量的无标注信息提升学习目标精度。方案核心包括三部分,一是网络翻译,对原始网络进行一次无损翻译;二是快速卷积网络,对异构信息进行高效卷积;三是对偶卷积,基于翻译的HIN学习用户和商品表征。

网络翻译

网络引入多种异构节点带来更丰富信息同时也带来了语义不兼容的挑战,区分节点类型计算对具有多种异构节点和边的大规模网络来说复杂度和计算量是一个巨大的挑战,本文借鉴相关研究基于二阶相似性将原始的网络翻译成用户-用户或者商品-商品关系,相似度计算是基于二者相同附加信息个数,核心思想是如果u1和u2有相同的辅助信息连接的话,u1和u2之间也相关,这样就可以实现将网络中异构节点的语义信息编码成用户-用户关系或者商品-商品关系实现原始网络信息翻译。

快速卷积网络IntentNet

原始的GCN在大规模的图中计算时具有巨大的计算复杂度,因为会通过高阶传输方式进行内容传播,复杂度是指数级的。本文提出的快速卷积网络intentNet通过以下两点优化可以有效的解决这个问题:第一,在卷积算子中,实际上并不是所有神经元都是同等重要的,在激活过程中,实际上只有最相关的神经元具有最大的效果,因此我们将图卷积设计为稀疏的网络激活,也可以看成是信道共享的向量学习,通过向量化的卷积实现邻居信息传播;第二,我们还发现,原始的高指数卷积复杂度主要来源于高阶节点,但是这种训练方式是可以解耦的,可以拆分成graph view和node view两种训练模块。基于这两点观察,我们重新设计了图卷积,通过全连接网络实现特征组合,实验表明相比GraphSage具有更好的效率和效果。

a) 向量化卷积函数

1.png

1.png
b) IntentNet
1.png
卷积训练方式设计拆分成graph view和node view两种训练模块,然后通过两者联合获取图卷积的功能,前者基于上述的向量化卷积函数,多卷积层堆叠能够有效的学习邻居节点传播关系,实现图卷积的任务,后者接全连接层学习不同维度向量空间的特征关系。

对偶卷积

为了user和item的表征和label信息刻画精确,不同于传统GCN,我们设计了对偶性的GCN结构,在同一个框架中具体学习。具体的方案是user进行独立的卷积,item和负采样进行共享的卷积,然后在卷积层最后,通过dense网络将三者投影到同一语义空间,最后,采取triplet loss的方法进行学习,这样结构的好处是,可以比经典GCN拥有更准确的异构表征能力,同时实践证明,这样的方式也可以让两个对偶卷积收敛,具有好的半监督效果。

IntentGC算法框架

intentGC算法框架主要包含三部分:1)网络翻译;2)训练;3)推断。在训练后我们可以获得用户和商品的向量表征,然后通过k-近邻的思路进行检索推荐。
1.png

  1. 实验结论

实验我们主要是验证IntentGC和现有算法的效果对比,IntentNet在处理十亿规模图学习任务上和GraphSage效率对比,以及验证增加异构信息的模型学习能力对比,我们离线基于淘宝和亚马逊的数据进行评估,分别对比DeepWalk、GraphSage、DSPR、Metapath2vec++、BiNE 等算法,在淘宝和亚马逊数据集上离线评估结果以及在淘宝环境线上实验均表明我们算法的有效性。

1.png
2.png

5. 总结和展望

本文提出一种新的融合多种信息的大规模图卷积学习方案,实验表明利用电商体系内大量的无标注信息在商品推荐中有重要价值,我们设计的快速图卷积学习框架能够支持十亿节点规模网络结构应用。在商品推荐中证明有效性,未来我们希望可以将该框架应用到更多的任务中,另外,考虑到在线实时用户特征的重要性,后续也可以考虑动态图卷积模型提升模型对实时特征的学习。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
企业应用上云,网络该怎么搞
万物上云时期,我们的网络该怎么搞,我们该如何将若干机器组合起来,让它们互联互通。公有云,私有云,混合云下,我们应该怎样灵活的去建设统一的网络环境。本文将深入浅出的带大家研究一下,云计算环境下如何构建统一的网络环境。
28 0
ECS运维:操作系统有异常?诊断日志来帮忙!
操作系统配置不当或程序过载可能会造成ECS系统内核崩溃,这将导致夯机、异常重启或无法正常启动等问题。为了分析根本原因,运维人员通常要查看系统日志,但此时也许实例已经无法正常远程连接,使得分析诊断非常困难。阿里云提供了一键查看系统日志和屏幕截图功能,为运维人员提供一个方便的工具,支持系统故障的分析。
7365 0
[连载]《C#通讯(串口和网络)框架的设计与实现》- 12.二次开发及应用
目       录 第十二章     二次开发及应用... 2 12.1        项目配制... 3 12.2        引用相关组件... 4 12.3        构建主程序..
691 0
+关注
84
文章
5
问答
来源圈子
更多
关于阿里的机器智能创新技术均呈现于此.
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载