[特征工程系列四]Wide&Deep Learning for Recommender Systems

简介:

今天讲下目前在推荐领域非常火的一种特征组合的方式Wide&Deep,这个思路其实是源自GOOGLE的一篇PAPERWide&Deep Learning for RecommenderSystems》,短短的四页但是讲得特别好,非常推荐大家阅读。

 

Ok,我们开始今天关于wide&deep这个方法的介绍,大家一看这个词的组合,肯定觉得很困惑,什么东西是“越宽越深”呢?

 

先来说wide,表示的是generalized的推荐系统,传统的推荐系统都是通过线性算法基于离散特征来做推荐的。Wide推荐通常是这样的:系统通过获得用户的购物日志数据,包括用户点击哪些商品,购买过哪些商品,然后通过one-hot编码的方式构成离散特征或者通过对业务的理解衍生出一些特征,具体的方式在特征工程第三篇文章中有介绍。那这种wide推荐方式有非常多的好处,比如对于大规模的稀疏数据有很好的效果,而且模型的解释性很强。什么叫模型的解释性呢?以逻辑回归为例,每个特征都对应模型中的一个权重值,每个特征的权重值的大小跟这个特征对结果的影响是有关的。那么wide方式同样有很多缺点,比如我们一直强调的,特征衍生需要很多人为操作,需要专家经验,另外这种推荐只对用户操作过的商品有效。

 

接着讲下deep,这里的deep表示的是通过深度学习学习出来的一些向量,这些向量是隐性特征,往往是没有明确可解释性的。这些向量也可以作为特征的一部分参与到训练中。通过deep方式产生的特征会有以下好处,其一可以拟补人为提取特征造成的人力思考维度的限制,试想下一个人可以轻易的思考出二阶乘法的结果,如果是五阶呢?其二这部分特征是深度学习框架自动生成的,无需人力干预。

 

接下来就是wide&deep的融合了,这个思想的精髓就是把wide特征和deep特征和到一起组成训练数据。这里有一点需要强调,在预测的过程中两个模型融合其实是有很多方式的,一种方法是两个模型分别对全量数据进行预测,然后根据权重组合最终的预测结果。另一种方式是widedeep的特征合一,构成一个模型进行预测。Wide&deep选用的是第二种方式:

通过上图可以看到,deep特征和wide特征合起来构成了1200维的模型。

 

那么运用wide&deep思路生成的模型究竟是否能产生推荐系统效果的提升呢,看下这个图:

此案例是论文中提到的基于GOOGLE PLAY真实业务场景的实验数据,在相同数量的测试样本下,只用wide或者只用deep的模型预测AUC效果都弱于使用wide&deep模型的效果。测试的目标是,推荐一个app给用户看用户是否会安装。

 

好啦,介绍到这里,wide&deep的思路的具体工程实现其实已经内置到了tensorflow里面,改天有空再给大家做个案例,今天的理论介绍就到这里,再次推荐大家学习这篇paper~

参考:《Wide & Deep Learning for Recommender Systems

https://arxiv.org/abs/1606.07792


转自:https://mp.weixin.qq.com/s?__biz=MzA4MDI0NDQyOQ%3D%3D&mid=2447500077&idx=1&sn=a5b2a4844ba577a10cb576782e356d64&scene=45#wechat_redirect

目录
打赏
0
0
0
0
129
分享
相关文章
Learning Disentangled Representations for Recommendation | NIPS 2019 论文解读
近年来随着深度学习的发展,推荐系统大量使用用户行为数据来构建用户/商品表征,并以此来构建召回、排序、重排等推荐系统中的标准模块。普通算法得到的用户商品表征本身,并不具备可解释性,而往往只能提供用户-商品之间的attention分作为商品粒度的用户兴趣。我们在这篇文章中,想仅通过用户行为,学习到本身就具备一定可解释性的解离化的用户商品表征,并试图利用这样的商品表征完成单语义可控的推荐任务。
23887 0
Learning Disentangled Representations for Recommendation | NIPS 2019 论文解读
【论文解读】A review on the attention mechanism of deep learning
注意力已经成为深度学习中最重要的概念之一。本文旨在对近年来提出的最新注意力模型作概述。我们建立了一个较为通用的模型,此外根据四个标准即注意力的柔软性、输入特征的形式、输入表示和输出表示来对当前注意力模型进行分类。最后讨论了注意力在深度学习可解释上的作用。
1254 0
Review on the Recent Welding Research with Application of CNN-Based Deep Learning
Guo等人16)将CNN应用于线管制造过程中的电阻焊,提出了一种正常焊缝与缺陷焊缝的分类模型,准确率达到99.01%。
120 0
【推荐系统论文精读系列】(十)--Wide&Deep Learning for Recommender Systems
具有非线性特征转化能力的广义线性模型被广泛用于大规模的分类和回归问题,对于那些输入数据是极度稀疏的情况下。通过使用交叉积获得的记忆交互特征是有效的而且具有可解释性,然后这种的泛化能力需要更多的特征工程努力。在进行少量的特征工程的情况下,深度神经网络可以泛化更多隐式的特征组合,通过从Sparse特征中学得低维的Embedding向量。可是,深度神经网络有个问题就是由于网络过深,会导致过度泛化数据。
215 0
【推荐系统论文精读系列】(十)--Wide&Deep Learning for Recommender Systems
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等