一种挖掘用户评论文本的跨领域冷启动用户推荐网络 | sigir论文解读

简介: 在大型推荐场景中,存在着众多类目(例如亚马逊平台中的书籍、影视推荐等)。用户往往只与其中部分类目有过交互,对于其他类目,由于缺少相应的历史行为记录,协同过滤方法会遭遇冷启动问题。

新零售智能引擎事业群出品

CATN: Cross-Domain Recommendation for Cold-Start Users via Aspect Transfer Network
文章链接:https://arxiv.org/abs/2005.10549
代码链接:https://github.com/AkiraZC/CATN

一、背景

在大型推荐场景中,存在着众多类目(例如亚马逊平台中的书籍、影视推荐等)。用户往往只与其中部分类目有过交互,对于其他类目,由于缺少相应的历史行为记录,协同过滤方法会遭遇冷启动问题。
为了缓解冷启动问题,一类可行的方法为利用用户在其他类目上的历史交互记录进行知识迁移(跨领域推荐),比如,给喜欢武侠小说的用户推荐古装电影。同时,为了更细致地刻画用户形象,参考用户的历史评论进行辅助推荐也能起到促进作用。
近年来,跨领域推荐和基于评论的个性化推荐均取得了不俗的进展,却鲜有工作将二者结合。这类工作主要存在以下挑战:1)用户在不同类目下的关注点是不同的,且只有少量稀疏特性存在关联,导致模型较难发现此类隐式关联;2)对于在当前类目下无历史记录的冷启动用户,若直接利用其他类目下该用户的评论文本,则会不可避免地带来用户特征的抽取误差,例如,喜欢粗糙质地工艺品的用户,不一定会喜欢粗糙材质的衣物。鉴别不同类目间评论文本的语义差异,也是一个不小的挑战。
针对以上问题,本文提出了一种挖掘用户在不同类目下的评论关联,进而对冷启动用户进行推荐的深度模型,称作CATN。CATN将用户在其他类目的历史评论融合为用户文档,将商品在当前类目的历史评论融合为商品文档,通过抽取文档中的多源aspect来表示用户/商品的细粒度特征关系,并引入“同好用户”进一步增强用户表示。实验表明CATN能够有效挖掘类目间的深层关联,进而提升冷启动用户的推荐系统评分预测任务。

二、问题定义和抽象

电商平台中有多个类目,设定当前类目为Target Domain,其他类目为Source Domain,我们的目标用户为在Source Domain上有过历史交互记录,而在Target Domain上无历史记录的冷启动用户,推荐系统任务为评分预测任务。
现有的针对冷启动用户的跨领域推荐算法往往包含三个步骤,如Figure 1:① Target Domain下用户/商品的表示学习;② Source Domain下用户/商品的表示学习;③ 两个类目下重叠用户的映射学习。对于Target Domain中的冷启动用户,依据步骤③训练的模型进行表示映射,进而展开推荐。
然而此类方法存在着以下缺陷:
1)将用户/商品特征映射为单个向量,忽略了细粒度建模;
2)步骤③的学习完全依赖于步骤①②的训练结果,容易导致误差积累;
3)不同类目间的关联学习仅能通过重叠用户的表示显式学出,当两个类目间重叠用户的数量较少时,易导致训练不足。
同时,现有方法仅仅基于用户的历史点击行为进行表示学习,未能将评论文本纳入其中,因而在用户/商品特征建模方面有所欠缺。
image.png

三、技术选择

本文构建了一个端到端的深度神经网络模型,主要解决Target Domain中冷启动用户的推荐问题。模型的基本思想是利用用户在Source Domain中的评价文本数据进行知识迁移,整体训练流程如Figure 2。其中左侧蓝色矩形和右侧绿色矩形分别代表两类训练流程:将用户在Source Domain的历史评论文本应用到Target Domain进行推荐,反之亦然。这两个流程在网络结构上完全相同,我们定义了全局共享参数和流程特有参数,使两个流程在训练过程中以小批量轮流训练,进而能够充分学习两个类目间的信息交互。
image.png

以左侧流程为例,我们的模型结构如Figure 3,主要分为以下三个部分:
image.png
1)用户兴趣(商品特性)的细粒度抽取。我们将用户的历史评论文本汇总构成“用户文档”,“商品文档”同之。以“用户文档”为例,首先将其映射image.png
到词向量空间E_u=(e_1,e_2,…,e_l ),接着进行一维文本卷积操作得到C_u=(c_(1,u),c_(2,u),…,c_(l,u) ),使用门控机制进行多细粒度的aspect特征抽取g_(m,j,u)=(W_m c_(j,u)+b_m )⊙σ(W_m^g c_(j,u)+b_m^g ),m=1,2,…,M,其中M为预定义的aspect个数。“商品文档”的操作与上述相同,且同一个流程中参数共享。为了克服不同类目间评论文本的语义差异,我们基于不同类目aspect query的注意力机制进行抽取,得到用户的aspect表示A_u=[a_(1,u),...,a_(M,u)]。
其中v_(m,s)为Source Domain的aspect query,同样地,Target Domain的aspect query v_(m,t)将作用于当前类目下评价文本的特征抽取。
2)“同好用户”评论辅助增强。鉴于两个类目间的重叠用户数量可能较少,我们尝试利用与目标用户有着相同兴趣的用户(同好用户)评论进行辅助增强。“同好用户”的定义可以根据其个人信息、历史行为或社交关系作为依据,本文中我们参考了PARL [Wu et al. CIKM“2018]中的定义,将对同一件商品打分相同的用户作为“同好用户”,并将目标用户的所有“同好用户”所写的评论融合得到其的辅助评论。鉴于辅助评论由不同用户所撰写,文字风格存在较大差异,我们设计了额外的文本卷积层,如Figure 3所示。经过与1)中相似的特征抽取过程,得到辅助评论的aspect表示A_(u_aux ),最后利用基于门控机制的表示融合,得到最终的用户特征表示A_u。
image.png

3)跨领域关联学习。用户在不同类目间的兴趣关联往往是稀疏而有针对性的,因此我们设计了对应的稀疏矩阵结构进行刻画。具体来讲,全局aspect相关矩阵S由Source Domain和Target Domain下的aspect query表示相乘得到(leakyRelu激活函数体现稀疏性),具体的aspect匹配矩阵S_(u,i)由从文本特征挖掘而来的aspect表示相乘得到,公式如下,其中b_u和b_i为用户和商品的偏置项,r ̂_(u,i)为推荐预测分数。
image.png

四、技术创新

相较于现有方法,CATN主要在以下几个方面具有创新性:
1)通过对用户评论的细粒度特征建模,有效刻画了用户/商品的细粒度特征/兴趣,以及跨类目间用户的兴趣关联;
2)摒弃了先前工作的3-step训练流程,通过端到端的训练方式,有效避免了各阶段的误差累积;
3)通过引入“同好“用户增强用户表示,一方面增加了训练数据的多样性,另一方面从相似用户的层面增强了对冷启动用户的推荐效果。

五、实验

本文实验在Amazon数据集中最大的三个类目(Book, Movie, Music)展开,两两配对形成三个场景,并在训练集中按照不同比例采样重叠用户。实验结果如Table 3,前5个baseline基于三步训练策略,ANR [Chin et al. CIKM’18]为基于评论的aspect推荐方法,这里直接将用户在Source Domain 的评论与Target Domain的商品评论进行交互。由Table 3可知,CATN达到了最优的效果。
image.png

我们对模型的可解释性进行分析,Figure 5为全局aspect相关矩阵S可视化图,类目间的相关特征往往集中于某一个/几个区域。Table 6展示了场景1(Book-Movie)中评论文档attention权重排名top5的词汇,通过人工归纳标签,发现Book类目第二/三个aspect为故事情节性的特征,Movie类目第三个aspect为电影内容,二者具有强烈的相关性,体现在全局aspect相关矩阵S中右下角的几个方块颜色最深,说明CATN具有一定的推荐可解释性。
image.png

更多信息检索技术内容请查看:独家下载!《SIGIR 顶会论文解读》电子书重磅发布

相关文章
|
2月前
|
机器学习/深度学习 人工智能
类人神经网络再进一步!DeepMind最新50页论文提出AligNet框架:用层次化视觉概念对齐人类
【10月更文挑战第18天】这篇论文提出了一种名为AligNet的框架,旨在通过将人类知识注入神经网络来解决其与人类认知的不匹配问题。AligNet通过训练教师模型模仿人类判断,并将人类化的结构和知识转移至预训练的视觉模型中,从而提高模型在多种任务上的泛化能力和稳健性。实验结果表明,人类对齐的模型在相似性任务和出分布情况下表现更佳。
64 3
|
20天前
|
网络协议 网络安全 网络虚拟化
本文介绍了十个重要的网络技术术语,包括IP地址、子网掩码、域名系统(DNS)、防火墙、虚拟专用网络(VPN)、路由器、交换机、超文本传输协议(HTTP)、传输控制协议/网际协议(TCP/IP)和云计算
本文介绍了十个重要的网络技术术语,包括IP地址、子网掩码、域名系统(DNS)、防火墙、虚拟专用网络(VPN)、路由器、交换机、超文本传输协议(HTTP)、传输控制协议/网际协议(TCP/IP)和云计算。通过这些术语的详细解释,帮助读者更好地理解和应用网络技术,应对数字化时代的挑战和机遇。
62 3
|
2月前
|
机器学习/深度学习 Web App开发 人工智能
轻量级网络论文精度笔(一):《Micro-YOLO: Exploring Efficient Methods to Compress CNN based Object Detection Model》
《Micro-YOLO: Exploring Efficient Methods to Compress CNN based Object Detection Model》这篇论文提出了一种基于YOLOv3-Tiny的轻量级目标检测模型Micro-YOLO,通过渐进式通道剪枝和轻量级卷积层,显著减少了参数数量和计算成本,同时保持了较高的检测性能。
38 2
轻量级网络论文精度笔(一):《Micro-YOLO: Exploring Efficient Methods to Compress CNN based Object Detection Model》
|
2月前
|
机器学习/深度学习 编解码 算法
轻量级网络论文精度笔记(三):《Searching for MobileNetV3》
MobileNetV3是谷歌为移动设备优化的神经网络模型,通过神经架构搜索和新设计计算块提升效率和精度。它引入了h-swish激活函数和高效的分割解码器LR-ASPP,实现了移动端分类、检测和分割的最新SOTA成果。大模型在ImageNet分类上比MobileNetV2更准确,延迟降低20%;小模型准确度提升,延迟相当。
65 1
轻量级网络论文精度笔记(三):《Searching for MobileNetV3》
|
6月前
|
机器学习/深度学习 自然语言处理 算法
【从零开始学习深度学习】49.Pytorch_NLP项目实战:文本情感分类---使用循环神经网络RNN
【从零开始学习深度学习】49.Pytorch_NLP项目实战:文本情感分类---使用循环神经网络RNN
|
7月前
|
机器学习/深度学习 计算机视觉 知识图谱
【YOLOv8改进】MobileViT 更换主干网络: 轻量级、通用且适合移动设备的视觉变压器 (论文笔记+引入代码)
MobileViT是针对移动设备的轻量级视觉Transformer网络,结合CNN的局部特征、Transformer的全局注意力和ViT的表示学习。在ImageNet-1k上,它以600万参数实现78.4%的top-1准确率,超越MobileNetv3和DeiT。MobileViT不仅适用于图像分类,还在目标检测等任务中表现出色,且优化简单,代码已开源。YOLOv8引入了MobileViT块,整合卷积和Transformer结构,提升模型性能。更多详情可参考相关专栏和链接。
|
2月前
|
编解码 人工智能 文件存储
轻量级网络论文精度笔记(二):《YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object ..》
YOLOv7是一种新的实时目标检测器,通过引入可训练的免费技术包和优化的网络架构,显著提高了检测精度,同时减少了参数和计算量。该研究还提出了新的模型重参数化和标签分配策略,有效提升了模型性能。实验结果显示,YOLOv7在速度和准确性上超越了其他目标检测器。
51 0
轻量级网络论文精度笔记(二):《YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object ..》
|
4月前
|
数据采集 搜索推荐 算法
基于B站视频评论的文本分析,采用包括文本聚类分析、LDA主题分析、网络语义分析
本文通过Python爬虫技术采集B站视频评论数据,利用LDA主题分析、聚类分析和语义网络分析等方法,对评论进行深入的文本分析,挖掘用户评论的主题、情感倾向和语义结构,旨在为商业决策提供支持,优化内容创作和用户满意度。
336 2
基于B站视频评论的文本分析,采用包括文本聚类分析、LDA主题分析、网络语义分析
|
4月前
|
机器学习/深度学习 算法 网络架构
神经网络架构殊途同归?ICML 2024论文:模型不同,但学习内容相同
【8月更文挑战第3天】《神经语言模型的缩放定律》由OpenAI研究人员完成并在ICML 2024发表。研究揭示了模型性能与大小、数据集及计算资源间的幂律关系,表明增大任一资源均可预测地提升性能。此外,论文指出模型宽度与深度对性能影响较小,较大模型在更多数据上训练能更好泛化,且能高效利用计算资源。研究提供了训练策略建议,对于神经语言模型优化意义重大,但也存在局限性,需进一步探索。论文链接:[https://arxiv.org/abs/2001.08361]。
50 1
|
4月前
|
人工智能 算法 安全
【2023 年第十三届 MathorCup 高校数学建模挑战赛】C 题 电商物流网络包裹应急调运与结构优化问题 赛后总结之31页论文及代码
本文总结了2023年第十三届MathorCup高校数学建模挑战赛C题的解题过程,详细阐述了电商物流网络在面临突发事件时的包裹应急调运与结构优化问题,提出了基于时间序列预测、多目标优化、遗传算法和重要性评价模型的综合解决方案,并提供了相应的31页论文和代码实现。
80 0