【推荐系统】推荐场景为什么不可以使用SVD分解共现矩阵

简介: 在推荐领域,我们为了捕捉更多隐含特征,需要对用户-物品共现矩阵进行分解,对矩阵分解的方法主要有三种

在推荐领域,我们为了捕捉更多隐含特征,需要对用户-物品共现矩阵进行分解,对矩阵分解的方法主要有三种:


  • 特征值分解(Eigen Decomposition)
  • 奇异值分解(Singular Value Decomposion)
  • 梯度下降(Gradient Descent)


如果使用特征值分解,前提要求是待分解矩阵为方阵,在真实情况中显然是不适用的。


对于奇异值分解,存在共现矩阵M(m,n),我们可以将其分解成:


网络异常,图片无法展示
|


其中

网络异常,图片无法展示
|
是(m,m)的正交矩阵,
网络异常,图片无法展示
|
是(n,n)的正交矩阵,
网络异常,图片无法展示
|
为(m,n)的特征值矩阵


虽然这个方法可以将我们的特征矩阵进行分解,但是会存在两个问题:


  • 奇异值分解要求共现矩阵是稠密的,但是在大多数场景下,用户的行为历史很少,所以用户-物品的共现矩阵是非常稀疏的,大多数的值都为0,表示未交互,所以不适宜使用奇异值分解,如果一定要使用,那么在使用之前需要对稀疏矩阵进行填补,如果填补不当会进行干扰原数据,导致数据质量下降
  • 传统奇异值分解的计算复杂度达到了
    网络异常,图片无法展示
    |
    的级别,这对于商品数量几百万,用户数量几千万的互联网场景来说几乎是不能够接受的,因为工程开销过于巨大
目录
相关文章
|
机器学习/深度学习 算法 数据可视化
无监督学习的集成方法:相似性矩阵的聚类
在机器学习中,术语Ensemble指的是并行组合多个模型,这个想法是利用群体的智慧,在给出的最终答案上形成更好的共识。
214 0
|
4月前
模型矩阵分解
模型矩阵分解
33 0
|
7月前
|
机器学习/深度学习 搜索推荐 数据挖掘
R语言矩阵特征值分解(谱分解)和奇异值分解(SVD)特征向量分析有价证券数据
R语言矩阵特征值分解(谱分解)和奇异值分解(SVD)特征向量分析有价证券数据
|
7月前
|
数据可视化
主成分分析PCA谱分解、奇异值分解SVD预测分析运动员表现数据和降维可视化
主成分分析PCA谱分解、奇异值分解SVD预测分析运动员表现数据和降维可视化
|
机器学习/深度学习 数据采集 资源调度
【推荐系统】推荐场景为什么不可以使用SVD分解共现矩阵
【推荐系统】推荐场景为什么不可以使用SVD分解共现矩阵
173 0
【推荐系统】推荐场景为什么不可以使用SVD分解共现矩阵
|
机器学习/深度学习 决策智能
矩阵分析 (五) 矩阵的分解
矩阵分析 (五) 矩阵的分解
155 0
|
机器学习/深度学习 决策智能
矩阵分析 (七) 矩阵特征值的估计
矩阵分析 (七) 矩阵特征值的估计
178 0
|
机器学习/深度学习 资源调度 算法
|
搜索推荐 算法 数据可视化
降维算法: 奇异值分解SVD
降维算法: 奇异值分解SVD
207 0