一种挖掘用户评论文本的跨领域冷启动用户推荐网络 | sigir论文解读-阿里云开发者社区

开发者社区> 被纵养的懒猫> 正文

一种挖掘用户评论文本的跨领域冷启动用户推荐网络 | sigir论文解读

简介: 在大型推荐场景中,存在着众多类目(例如亚马逊平台中的书籍、影视推荐等)。用户往往只与其中部分类目有过交互,对于其他类目,由于缺少相应的历史行为记录,协同过滤方法会遭遇冷启动问题。
+关注继续查看

新零售智能引擎事业群出品

CATN: Cross-Domain Recommendation for Cold-Start Users via Aspect Transfer Network
文章链接:https://arxiv.org/abs/2005.10549
代码链接:https://github.com/AkiraZC/CATN

一、背景

在大型推荐场景中,存在着众多类目(例如亚马逊平台中的书籍、影视推荐等)。用户往往只与其中部分类目有过交互,对于其他类目,由于缺少相应的历史行为记录,协同过滤方法会遭遇冷启动问题。
为了缓解冷启动问题,一类可行的方法为利用用户在其他类目上的历史交互记录进行知识迁移(跨领域推荐),比如,给喜欢武侠小说的用户推荐古装电影。同时,为了更细致地刻画用户形象,参考用户的历史评论进行辅助推荐也能起到促进作用。
近年来,跨领域推荐和基于评论的个性化推荐均取得了不俗的进展,却鲜有工作将二者结合。这类工作主要存在以下挑战:1)用户在不同类目下的关注点是不同的,且只有少量稀疏特性存在关联,导致模型较难发现此类隐式关联;2)对于在当前类目下无历史记录的冷启动用户,若直接利用其他类目下该用户的评论文本,则会不可避免地带来用户特征的抽取误差,例如,喜欢粗糙质地工艺品的用户,不一定会喜欢粗糙材质的衣物。鉴别不同类目间评论文本的语义差异,也是一个不小的挑战。
针对以上问题,本文提出了一种挖掘用户在不同类目下的评论关联,进而对冷启动用户进行推荐的深度模型,称作CATN。CATN将用户在其他类目的历史评论融合为用户文档,将商品在当前类目的历史评论融合为商品文档,通过抽取文档中的多源aspect来表示用户/商品的细粒度特征关系,并引入“同好用户”进一步增强用户表示。实验表明CATN能够有效挖掘类目间的深层关联,进而提升冷启动用户的推荐系统评分预测任务。

二、问题定义和抽象

电商平台中有多个类目,设定当前类目为Target Domain,其他类目为Source Domain,我们的目标用户为在Source Domain上有过历史交互记录,而在Target Domain上无历史记录的冷启动用户,推荐系统任务为评分预测任务。
现有的针对冷启动用户的跨领域推荐算法往往包含三个步骤,如Figure 1:① Target Domain下用户/商品的表示学习;② Source Domain下用户/商品的表示学习;③ 两个类目下重叠用户的映射学习。对于Target Domain中的冷启动用户,依据步骤③训练的模型进行表示映射,进而展开推荐。
然而此类方法存在着以下缺陷:
1)将用户/商品特征映射为单个向量,忽略了细粒度建模;
2)步骤③的学习完全依赖于步骤①②的训练结果,容易导致误差积累;
3)不同类目间的关联学习仅能通过重叠用户的表示显式学出,当两个类目间重叠用户的数量较少时,易导致训练不足。
同时,现有方法仅仅基于用户的历史点击行为进行表示学习,未能将评论文本纳入其中,因而在用户/商品特征建模方面有所欠缺。
image.png

三、技术选择

本文构建了一个端到端的深度神经网络模型,主要解决Target Domain中冷启动用户的推荐问题。模型的基本思想是利用用户在Source Domain中的评价文本数据进行知识迁移,整体训练流程如Figure 2。其中左侧蓝色矩形和右侧绿色矩形分别代表两类训练流程:将用户在Source Domain的历史评论文本应用到Target Domain进行推荐,反之亦然。这两个流程在网络结构上完全相同,我们定义了全局共享参数和流程特有参数,使两个流程在训练过程中以小批量轮流训练,进而能够充分学习两个类目间的信息交互。
image.png

以左侧流程为例,我们的模型结构如Figure 3,主要分为以下三个部分:
image.png
1)用户兴趣(商品特性)的细粒度抽取。我们将用户的历史评论文本汇总构成“用户文档”,“商品文档”同之。以“用户文档”为例,首先将其映射image.png
到词向量空间E_u=(e_1,e_2,…,e_l ),接着进行一维文本卷积操作得到C_u=(c_(1,u),c_(2,u),…,c_(l,u) ),使用门控机制进行多细粒度的aspect特征抽取g_(m,j,u)=(W_m c_(j,u)+b_m )⊙σ(W_m^g c_(j,u)+b_m^g ),m=1,2,…,M,其中M为预定义的aspect个数。“商品文档”的操作与上述相同,且同一个流程中参数共享。为了克服不同类目间评论文本的语义差异,我们基于不同类目aspect query的注意力机制进行抽取,得到用户的aspect表示A_u=[a_(1,u),...,a_(M,u)]。
其中v_(m,s)为Source Domain的aspect query,同样地,Target Domain的aspect query v_(m,t)将作用于当前类目下评价文本的特征抽取。
2)“同好用户”评论辅助增强。鉴于两个类目间的重叠用户数量可能较少,我们尝试利用与目标用户有着相同兴趣的用户(同好用户)评论进行辅助增强。“同好用户”的定义可以根据其个人信息、历史行为或社交关系作为依据,本文中我们参考了PARL [Wu et al. CIKM“2018]中的定义,将对同一件商品打分相同的用户作为“同好用户”,并将目标用户的所有“同好用户”所写的评论融合得到其的辅助评论。鉴于辅助评论由不同用户所撰写,文字风格存在较大差异,我们设计了额外的文本卷积层,如Figure 3所示。经过与1)中相似的特征抽取过程,得到辅助评论的aspect表示A_(u_aux ),最后利用基于门控机制的表示融合,得到最终的用户特征表示A_u。
image.png

3)跨领域关联学习。用户在不同类目间的兴趣关联往往是稀疏而有针对性的,因此我们设计了对应的稀疏矩阵结构进行刻画。具体来讲,全局aspect相关矩阵S由Source Domain和Target Domain下的aspect query表示相乘得到(leakyRelu激活函数体现稀疏性),具体的aspect匹配矩阵S_(u,i)由从文本特征挖掘而来的aspect表示相乘得到,公式如下,其中b_u和b_i为用户和商品的偏置项,r ̂_(u,i)为推荐预测分数。
image.png

四、技术创新

相较于现有方法,CATN主要在以下几个方面具有创新性:
1)通过对用户评论的细粒度特征建模,有效刻画了用户/商品的细粒度特征/兴趣,以及跨类目间用户的兴趣关联;
2)摒弃了先前工作的3-step训练流程,通过端到端的训练方式,有效避免了各阶段的误差累积;
3)通过引入“同好“用户增强用户表示,一方面增加了训练数据的多样性,另一方面从相似用户的层面增强了对冷启动用户的推荐效果。

五、实验

本文实验在Amazon数据集中最大的三个类目(Book, Movie, Music)展开,两两配对形成三个场景,并在训练集中按照不同比例采样重叠用户。实验结果如Table 3,前5个baseline基于三步训练策略,ANR [Chin et al. CIKM’18]为基于评论的aspect推荐方法,这里直接将用户在Source Domain 的评论与Target Domain的商品评论进行交互。由Table 3可知,CATN达到了最优的效果。
image.png

我们对模型的可解释性进行分析,Figure 5为全局aspect相关矩阵S可视化图,类目间的相关特征往往集中于某一个/几个区域。Table 6展示了场景1(Book-Movie)中评论文档attention权重排名top5的词汇,通过人工归纳标签,发现Book类目第二/三个aspect为故事情节性的特征,Movie类目第三个aspect为电影内容,二者具有强烈的相关性,体现在全局aspect相关矩阵S中右下角的几个方块颜色最深,说明CATN具有一定的推荐可解释性。
image.png

更多信息检索技术内容请查看:独家下载!《SIGIR 顶会论文解读》电子书重磅发布

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
全局自适应模块:为召回模型装上第三只眼 | sigir论文解读
DeepMatch在搜索、推荐和广告等系统都大量应用,是一种重要的召回方式。通常将用户(搜索场景下包含Query)和商品通过深度模型编码成向量,线上通过向量近邻查找top K个商品作为召回结果。
2126 0
Alibaba at Interspeech 2021 | 达摩院语音实验室9篇入选论文解读
INTERSPEECH是由国际语音通讯协会创办的语音信号处理领域顶级旗舰国际会议。继去年11篇论文入选INTERSPEECH 2020之后,本次INTERSPEECH 2021阿里巴巴达摩院语音实验室再度有9篇论文被接收,包括语音识别,语音合成,后处理技术,前端信号处理技术等研究方向。本文我们将对这些论文进行解读。
127 0
Paper:论文解读《Adaptive Gradient Methods With Dynamic Bound Of Learning Rate》中国本科生提出AdaBound的神经网络优化算法(一)
Paper:论文解读《Adaptive Gradient Methods With Dynamic Bound Of Learning Rate》中国本科生提出AdaBound的神经网络优化算法
35 0
基于post-click行为分解的全空间多任务转化率预估建模 | sigir论文解读
随着移动互联网的兴起,从海量的数据中挖掘出有价值的信息并呈现给用户,已成了电商、 社交、新闻等主流应用的核心功能,推荐系统正是在这样的背景下诞生的。
1233 0
独家下载!《SIGIR 顶会论文解读》电子书重磅发布
高端玩家看过来!阿里云开发者社区联合新零售智能引擎事业群独家推出顶会论文解读系列电子书,本期为《SIGIR 顶会论文解读》,由 7 位阿里巴巴技术专家精心打造,深度解析信息检索新技术,助你了解行业动态,紧跟技术潮流!
12154 0
5月2日云栖精选夜读:DT科技评论第35期:可以解锁任何手机的万能指纹
迈克菲如何做云安全?谷歌开辟机器学习新方法:“联合学习”、AlphaGo将与柯洁进行围棋大战、谷歌神经网络可将语音直接翻译成文字...本周科技新鲜资讯,尽在DT科技评论!
3962 0
基于归纳网络的少样本文本分类 | EMNLP 2019 会议论文解读
深度学习方法在数据稀缺的场景下往往表现很差,在这种挑战性的场景下,近期的工作往往使用meta-learning的方法来模拟少样本学习任务,通过在样本级别把query和支撑集进行比较来完成分类。
2160 0
560
文章
1795
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载
《2021云上架构与运维峰会演讲合集》
立即下载