推荐系统中的卷积

简介: 如图所示,水平卷积层中的卷积在 latent space 上滑动并卷积计算后通过激活函数得到的向量,再通过一个max-pooling ,取出向量中最大的一个值,最后若干卷积的结果 concat 到一起就是该层的输出。

水平卷积


水平卷积的特点: filter 的宽 与 embedding 矩阵的宽是相等的,在embedding 矩阵从上向下滑动的过程中是通过 filter 的高 来控制要关注几个行为。


如图所示,水平卷积层中的卷积在 latent space 上滑动并卷积计算后通过激活函数得到的向量,再通过一个max-pooling ,取出向量中最大的一个值,最后若干卷积的结果 concat 到一起就是该层的输出。


9a26aba534174ad0a5c0cab67218298b.png


  W
-------------
|     |
|     | H
|     |
--------------


举个例子,如下图,历史行为有4个,要预测的候选为长城和酒吧。这时可以设计有8个 filter,长为1、2、3、4的 filter 各有两个。下图中的F1、F2就是长为2的两个 filter,用来挖掘序列中2个行为的 union-level pattern。


6c38f534614244f5bd24e4fc1b7c9ef9.png


最后学出来的效果很可能就如左图所示,颜色越深的格子代表值越大。F1在 latent space 上从上到下滑动一遍做卷积得到的值中,最大的就是飞机和旅店 embedding 的加权和,对于预测 target 长城时起到很大的作用;F2相当是提取快餐和饭店 embedding 的组合,对于预估 target 酒吧时起到很大的作用。


实际上,水平卷积层得到的是 不同窗口长度,窗口中不同关注度 的行为加权和的最大值,以此进行union-level pattern 建模。


竖直卷积


竖直卷积 filter 的特点是:长和 latent space 的长是相等的,宽为1。竖直卷积在 latent space 从左往右滑动一遍得到的向量:相当于序列中各个行为embedding的加权求和。使用多个filter,相当对序列行为用不同关注度的加权求和。该层并没有max-pooling操作,每个filter 得到的向量都concat 到一块作为该层的输出。


实际上, 这种方式保留了历史行为embedding 的所有维度,得到以不同关注度对历史所有行为 加权和的结果。可能第一个filter 关注的是第n个行为,第二个filter 关注的是第m个行为,以此进行point-level pattern 建模。


水平卷积在图像上


d5d6cacef4ad43c492b64c92184da5ed.png


c04bcf06626247189353958425eaecbe.png


竖直卷积在图像上


7b6e17dce25e4c09a10590be144cd9d3.png

be1e77d114f64e06aff09045157c6c29.png


垂直边界卷积核与水平边界卷积核


我们可以看下面这种图,垂直边界卷积核就只把垂直方向的线条给提取出来了,忽略水平方向的线条。


水平边界卷积核就只把水平方向的线条给提取出来了。


09f17a5960fe4841a3f17e129d9ac1ff.png

目录
相关文章
|
7月前
|
机器学习/深度学习 自然语言处理 数据可视化
深度探索变分自编码器在无监督特征学习中的应用
【4月更文挑战第20天】 在深度学习领域,无监督学习一直是研究的热点问题之一。本文聚焦于一种前沿的生成模型——变分自编码器(Variational Autoencoder, VAE),探讨其在无监督特征学习中的关键作用与应用潜力。不同于传统的摘要形式,本文将直接深入VAE的核心机制,分析其如何通过引入随机隐变量和重参数化技巧,实现对复杂数据分布的有效建模。文章还将展示VAE在多个实际数据集上的应用结果,验证其作为无监督特征提取工具的有效性和普适性。通过理论与实践的结合,本文旨在为读者提供关于VAE在无监督特征学习领域的全面认识。
|
7月前
|
机器学习/深度学习 存储 自然语言处理
卷积神经元网络CNN基础
卷积神经元网络CNN基础
75 1
|
2月前
|
机器学习/深度学习 搜索推荐 算法
推荐系统的矩阵分解和FM模型
推荐系统的矩阵分解和FM模型
23 0
|
6月前
|
机器学习/深度学习 搜索推荐 算法
基于深度学习神经网络协同过滤模型(NCF)的图书推荐系统
登录注册 热门图书 图书分类 图书推荐 借阅图书 购物图书 个人中心 可视化大屏 后台管理
13140 2
基于深度学习神经网络协同过滤模型(NCF)的图书推荐系统
|
机器学习/深度学习 移动开发 算法
秒懂算法 | 基于图神经网络的推荐算法
图神经网络(Graph Neural Networks,GNN)是近几年兴起的学科,用来作推荐算法自然效果也相当好,但是要学会基于图神经网络的推荐算法之前,需要对图神经网络自身有个了解。
664 0
秒懂算法 | 基于图神经网络的推荐算法
|
机器学习/深度学习 人工智能 算法
神经网络的简单偏好(2)
神经网络的简单偏好
155 0
神经网络的简单偏好(2)
|
机器学习/深度学习 并行计算 异构计算
卷积降维与池化降维的对比分析
卷积降维与池化降维的对比分析
201 0
|
机器学习/深度学习 人工智能 算法
|
机器学习/深度学习 算法
Resnet图像识别入门——池化层
池化和卷积不同,它没有channel维度的累加。
Resnet图像识别入门——池化层
|
机器学习/深度学习 数据可视化 PyTorch