业界盘点|为什么推荐算法都开始结合图神经网络了?(二)

简介: 业界盘点|为什么推荐算法都开始结合图神经网络了?(二)

3. 阿里EGES


论文标题:Billion-scale Commodity Embedding for E-commerce Recommendation in Alibaba


论文来源:KDD2018,Alibaba


论文目标:将图表示学习应用到推荐中,初步解决scalability, sparsity and cold start等问题


图数据的构建方法:session-based users’ behaviors中相邻的item连接一条有向边


模型架构:


fb47e0b61262a90bd13844643f94d269.png


模型特点:


**base model 😗*先随机游走,再使用negative sampling优化的Skip-gram模型来学习表示。


**enhance model:**利用side information,给每种不同类型的side information的表示以不同的权重,其中SI 0代表item id。


ec6d1bc0a5f3748481bd332c1290e21f.png



e09462121eb94bda4b4b9ee627b143c6.png


注:数据清洗


1.删除点击后停留时间少于1s的点击(无意图点击)


2.删除过于活跃的用户(buy>1000 item, click >3500 item in 3 months)


4. 阿里GATNE


论文标题:Representation Learning for Attributed Multiplex Heterogeneous Network


论文来源:KDD2019 Alibaba&Tsinghua


论文目标:学习异构网络的结点和边表示


图数据的构建方法:user-item交互信息(点击,加入购物车等)


模型架构:


7dd23ee7e5d6fe8828385df144f186a7.png


模型特点:


为异构网络中的每个结点学习一个基本表示(base embedding),在结点的每种边类型下都学一个表示(edge embedding),将两类表示合并作为最后的表示。


总结:


有Inductive和transductive两种setting:


Inductive learning中将结点的属性作为学习结点和边表示的初始化输入。


5. 阿里M2GRL


论文标题:M2GRL: A Multi-task Multi-view Graph Representation Learning Framework for Web-scale Recommender Systems


论文来源:KDD2020 Alibaba


论文目标:同时学习multi-view的表示,并对齐


图数据的构建方法:从用户的历史行为序列中构造出item graph(连续的item之间连边);category graph, shop graph


模型架构:


97c70f730f6fd9f795906734c0ff3ad1.png


模型特点:


多task多view的图表示学习框架,分为两类任务:


1.view内的任务,关注与view内的同构图的表示学习,使用Negative sampling优化的Skip-gram模型来学习


2.view间的任务,专注于学习不同view的结点的关系,采取对齐技术来将不同view的结点的映射到同一空间,并学习结点之间的关系


利用同调不确定性来学习不同任务的权重


备注:


数据清洗


1.删除点击后停留时间少于2s的user-item pair(用户可能不感兴趣)


2.打开到关闭app的tm来分割和合并session。若有1小时的空闲时间,将一个session分成两个;如果时间跨度少于30分钟,合并两个连续的session。


6. 阿里DHGAT


论文标题:A Dual Heterogeneous Graph Attention Network to Improve Long-Tail Performance for Shop Search in E-Commerce


论文来源:KDD2020 Alibaba


论文目标:在shop search上提高长尾query和shop的效果


图数据的构建方法:从用户的搜索、点击和下单行为历史构造。


结点类型:Shop(S)、Query(Q)、Item(I)


边类型:


1.同构边:Q-Q,同一个session中的query连边,导致相同点击shop的query连边;S-S,在同个query下的shop连边


2.异构边:Q-S(历史数据中直接获得,从item-query下下单的),Q-I,S-I


模型架构:


42883020fa115c11cc0f25568902d57c.png


模型特点:


使用GNN来丰富shop和query的表示含义,定义了各自的异构邻居。


1.双层attention,1.同种异构边,2.不同种异构边


2.双塔+异构attention


3.从product search中transfer knowledge


4.user feature作为query特征一部分


7 .滴滴Gemini


论文标题:Gemini: A Novel and Universal Heterogeneous Graph Information Fusing Framework for Online Recommendations


论文来源:KDD2020 DiDi


论文目标:将User-item交互的异构图转化为两个semi-Homogeneous图


图的构建方法:任意二分图


模型架构:


e451f1a765ebd1ed6a5ca58b6853d5df.png


169de1e624b6eaed856701f03df049b4 (1).png


模型特点:


1.将一个异构图转化为两个半同构图,其中同构图上的边的属性为node list(原来的共同1跳邻居结点)


2.边上的点越多,包含的信息越多;但在所有边上出现次数越多,越不重要。单个边上点出现的次数(tf),所有边上点出现的次数(idf) ,使用TF-IDF pooling (分桶表示)


b31bc5f53b6dc334a0582ceb32249e29.png


3.使用attention机制来组合结点和边表示


c1ba61821286ad8adb04fabb618de6ce.png


4.使用edge conv来获得该层的结点表示


c0f9e10ec98d5773252207466120a87a.png


5.预测


f97952ab5760188065fcb401be150ab3.png


备注:


复杂度较高,构造了u-u图,比原始的u-i图更大


相关文章
|
27天前
|
机器学习/深度学习 存储 算法
神经网络分类算法原理详解
神经网络分类算法原理详解
50 0
|
1月前
|
机器学习/深度学习 自然语言处理 搜索推荐
神经网络算法 —— Embedding(嵌入)!!
神经网络算法 —— Embedding(嵌入)!!
60 1
|
17天前
|
负载均衡 算法 应用服务中间件
面试题:Nginx有哪些负载均衡算法?Nginx位于七层网络结构中的哪一层?
字节跳动面试题:Nginx有哪些负载均衡算法?Nginx位于七层网络结构中的哪一层?
32 0
|
1月前
|
机器学习/深度学习 算法 计算机视觉
基于yolov2深度学习网络的视频手部检测算法matlab仿真
基于yolov2深度学习网络的视频手部检测算法matlab仿真
|
2月前
|
机器学习/深度学习 算法 数据挖掘
【MATLAB】tvf_emd_ MFE_SVM_LSTM 神经网络时序预测算法
【MATLAB】tvf_emd_ MFE_SVM_LSTM 神经网络时序预测算法
46 2
|
1月前
|
机器学习/深度学习 算法 计算机视觉
|
9天前
|
算法 定位技术 Windows
R语言最大流最小割定理和最短路径算法分析交通网络流量拥堵问题
R语言最大流最小割定理和最短路径算法分析交通网络流量拥堵问题
15 4
|
12天前
|
机器学习/深度学习 算法
【MATLAB】GA_ELM神经网络时序预测算法
【MATLAB】GA_ELM神经网络时序预测算法
286 9
|
12天前
|
机器学习/深度学习 数据采集 算法
|
15天前
|
机器学习/深度学习 自然语言处理 算法

热门文章

最新文章