亿级用户的平台是如何使用词嵌入来建立推荐系统的

简介: 亿级用户的平台是如何使用词嵌入来建立推荐系统的

推荐系统对于我们今天使用的几乎所有应用程序都是至关重要的。 借助大数据,我们有大量可供选择的内容。并且我们可以建系统,通过这些系统可以帮助我们筛选和确定选择的优先次序。 这些系统还给我们一种个性化的内容和服务的感觉。

640.png

词嵌入是指单词在低维空间中的分布式表示。词嵌入使机器更容易理解文本。有多种算法可用于将文本转换为词嵌入矢量,例如Word2Vec,GloVe,WordRank,fastText等。所有这些算法都提供了多种单词矢量表示形式,但可以将它们直接输入到NLP模型中。这些算法的用法取决于我们要执行的任务的类型,例如,如果我们要执行单词相似性任务,并且要输出可互换的单词,则应使用Word2Vec,否则,如果我们要输出相关的属性到一个特定的单词,那么我们应该选择WordRank。

词嵌入是任何任务的基础,例如情感分析,文本摘要,语言翻译或任何其他NLP任务。Airbnb,Spotify等公司大量使用它们来构建推荐系统,从而提供实时个性化。但是他们使用词嵌入构建这些系统的方式各不相同,这就是我们将在此处讨论的内容。

Airbnb使用点击会话来构建单词嵌入,即他们从用户点击的列表中提取模式。他们将每个列表转换成词嵌入向量,然后根据其点击会话最终向用户显示最相似的列表。为了将列表转换为向量,他们将用户的每次点击会话都视为句子和skipgram(在Word2Vec的两个变体中)。他们找到了正样本和负样本,它们可以用于训练并最终计算嵌入向量。考虑以下示例:

640.png

640.png

每个用户的这些点击会话均视为句子。然后,进行正负采样。只要用户没有点击推荐的列表,就会被视为否定样本。为了进一步改善模型的性能,它们将最终预订的用户列表作为该用户单击的其他所有列表的肯定示例。例如,如果我们认为用户1最终预订了清单124,那么正样本和负样本的生成将与图2相似。这样,Airbnb便会为其用户提供实时建议。

640.png

阿里巴巴以不同的方式使用词嵌入。他们还利用产品点击会话,但不会直接使用skipgram ,而是根据它们建立有向图。考虑图1的示例,图看起来像图3中的图。现在,他们使用随机游走的概念来计算我们所谓的图嵌入。在这里,他们随机选择一个节点并继续沿着路径行驶,直到到达终点为止。然后,对这些随机游动序列进行skipgram 操作,从而为这些产品中的每一个找到单词嵌入。他们还使用影响这些嵌入的产品附带信息来进一步提高准确性。在这里详细了解他们的工作。

现在让我们谈谈Spotify。针对其用户创建和收听的播放列表进行Spotify的skipgram。他们还考虑了用户跳过的歌曲,用户在歌曲上花费的时间以及整个用户的收听历史。他们从这些活动中构建正样本和负样本,然后运行单词嵌入算法。最后,他们根据此推荐相关的艺术家。

最后,让我们谈谈一家名为ASOS的在线时装和化妆品零售商公司。他们使用词嵌入作为输入来预测客户价值寿命预测。如果客户访问的时间取决于销售,产品价格等的不同,则其生命周期价值较低。另一方面,生命周期价值高意味着您在相似的时间进行相似的访问。现在,ASOS不会对用户的点击会话创建skipgram 。他们要做的是找到访问产品页面的用户序列,然后对这些用户序列创建skipgram 。因此,每个用户都将转换为嵌入向量。然后将这些嵌入用作模型的输入以进行预测。

目录
相关文章
|
6月前
|
搜索推荐 算法 前端开发
旅游管理与推荐系统Python+Django网页平台+协同过滤推荐算法
旅游管理与推荐系统Python+Django网页平台+协同过滤推荐算法
149 0
|
21天前
|
JavaScript 搜索推荐 前端开发
音乐发现平台:借助Python和Vue构建个性化音乐推荐系统
【4月更文挑战第11天】本文介绍了如何使用Python和Vue.js构建个性化音乐推荐系统。首先确保安装Python、Node.js、数据库系统和Git。后端可选择Flask或Django搭建RESTful API,处理歌曲数据。前端利用Vue.js创建用户界面,结合Vue CLI、Vuex和Vue Router实现功能丰富的SPA。通过Vuex管理状态,Axios与后端通信。这种前后端分离的架构利于协作和系统扩展,助力打造定制化音乐体验。
|
5月前
|
算法 搜索推荐 前端开发
旅游推荐平台|酒店推荐平台|基于协同过滤算法实现旅游酒店推荐系统
旅游推荐平台|酒店推荐平台|基于协同过滤算法实现旅游酒店推荐系统
|
11月前
|
存储 前端开发 Java
毕业设计So Easy:Java Web图书推荐系统平台
很多计算机专业大学生经常和我交流:毕业设计没思路、不会做、论文不会写、太难了...... 针对这些问题,决定分享一些软、硬件项目的设计思路和实施方法,希望可以帮助大家,也祝愿各位学子,顺利毕业!
|
搜索推荐 算法
使用 BERT 嵌入解决冷电影问题:推荐系统
推荐冷启动问题是指添加到目录中的项目没有或只有很少的交互。这主要是协同过滤算法的一个问题,因为它们依赖于项目的交互来进行推荐。解决这个问题 我使用 BERT Embeddings。我嵌入所有电影类型并保存所有 . 还将新电影类型转换为BERT 嵌入并使用最近邻。我找到最近的 k 部电影的新电影并将它们推荐给用户。我没有使用预训练电影嵌入层。因为每部电影都有 1 X 50 维度表示。在查询时,我需要计算每个点之间的距离,如果每个点都是 50 个或更多维度,这将非常耗时。
105 0
|
机器学习/深度学习 数据采集 算法
10款推荐系统仿真器(模拟平台)汇总和点评
10款推荐系统仿真器(模拟平台)汇总和点评
|
机器学习/深度学习 搜索推荐 TensorFlow
基于BERT嵌入的推荐系统
基于BERT嵌入的推荐系统
321 0
基于BERT嵌入的推荐系统
|
消息中间件 机器学习/深度学习 缓存
【王喆-推荐系统】前沿篇-(task3)流处理平台Flink:实时推荐
ex:小明在刷抖音的足球视频,接着会继续推荐出相关视频,如果推荐系统没有实时抓住用户的兴趣点,推荐大妈广场舞的视频,小明可能会对该产品失去兴趣哈哈。
423 0
【王喆-推荐系统】前沿篇-(task3)流处理平台Flink:实时推荐
|
分布式计算 算法 关系型数据库
【云栖号案例 | 互联网】小红唇APP通过大数据计算平台21天内搭建推荐系统
小红唇需要在打造在线数仓构建可视化数据展示的应用、提升一些应用场景的响应速度等。通过数加降低人员、时间、金钱成本,在21天内搭建推荐系统。
【云栖号案例 | 互联网】小红唇APP通过大数据计算平台21天内搭建推荐系统
|
机器学习/深度学习 搜索推荐 数据可视化
基于神经网络嵌入的推荐系统:利用深度学习和维基百科构建图书推荐系统
快来利用深度学习和维基百科构建一个属于你自己的图书推荐系统吧,手把手教学,够简单够酷炫。
2848 0