【推荐系统】推荐场景为什么不可以使用SVD分解共现矩阵

简介: 在推荐领域,我们为了捕捉更多隐含特征,需要对用户-物品共现矩阵进行分解,对矩阵分解的方法主要有三种

在推荐领域,我们为了捕捉更多隐含特征,需要对用户-物品共现矩阵进行分解,对矩阵分解的方法主要有三种:


  • 特征值分解(Eigen Decomposition)
  • 奇异值分解(Singular Value Decomposion)
  • 梯度下降(Gradient Descent)


如果使用特征值分解,前提要求是待分解矩阵为方阵,在真实情况中显然是不适用的。


对于奇异值分解,存在共现矩阵M(m,n),我们可以将其分解成:


网络异常,图片无法展示
|


其中

网络异常,图片无法展示
|
是(m,m)的正交矩阵,
网络异常,图片无法展示
|
是(n,n)的正交矩阵,
网络异常,图片无法展示
|
为(m,n)的特征值矩阵


虽然这个方法可以将我们的特征矩阵进行分解,但是会存在两个问题:


  • 奇异值分解要求共现矩阵是稠密的,但是在大多数场景下,用户的行为历史很少,所以用户-物品的共现矩阵是非常稀疏的,大多数的值都为0,表示未交互,所以不适宜使用奇异值分解,如果一定要使用,那么在使用之前需要对稀疏矩阵进行填补,如果填补不当会进行干扰原数据,导致数据质量下降
  • 传统奇异值分解的计算复杂度达到了
    网络异常,图片无法展示
    |
    的级别,这对于商品数量几百万,用户数量几千万的互联网场景来说几乎是不能够接受的,因为工程开销过于巨大
目录
相关文章
|
存储 SQL 关系型数据库
MySQL 存储函数及调用
MySQL 存储函数及调用
759 3
|
9月前
|
大数据
“你朋友圈的真面目,大数据都知道!”——用社交网络分析看透人情世故
“你朋友圈的真面目,大数据都知道!”——用社交网络分析看透人情世故
367 16
|
10月前
|
人工智能 运维 监控
领先AI企业经验谈:探究AI分布式推理网络架构实践
当前,AI行业正处于快速发展的关键时期。继DeepSeek大放异彩之后,又一款备受瞩目的AI智能体产品Manus横空出世。Manus具备独立思考、规划和执行复杂任务的能力,其多智能体架构能够自主调用工具。在GAIA基准测试中,Manus的性能超越了OpenAI同层次的大模型,展现出卓越的技术实力。
|
12月前
|
人工智能 自然语言处理 算法
“破冰”探索两周年,AI和媒体碰撞出了什么火花?
2022年末,大模型浪潮席卷新闻媒体行业,引发内容生产方式的深刻变革。2023年1月,传播大脑科技公司在杭州成立,成为浙江新闻传媒领域的重要探索。两年后,大模型技术进一步重构新闻生产和分发逻辑,传播大脑通过整合资源、打破壁垒,推出了国内首个媒体垂类大模型,并在全国范围内推广“浙江模式”,助力多省份媒体融合进程。2025年初,传播大脑在智能化办公、内容创作和形式创新等方面取得显著成果,为媒体行业的未来提供了新的解决方案和启示。
271 14
|
机器学习/深度学习 人工智能 算法
打造你的超级Agent智能体——在虚拟迷宫中智斗未知,解锁AI进化之谜的惊心动魄之旅!
【10月更文挑战第5天】本文介绍了一个基于强化学习的Agent智能体项目实战,通过控制Agent在迷宫环境中找到出口来完成特定任务。文章详细描述了环境定义、Agent行为及Q-learning算法的实现。使用Python和OpenAI Gym框架搭建迷宫环境,并通过训练得到的Q-table测试Agent表现。此项目展示了构建智能体的基本要素,适合初学者理解Agent概念及其实现方法。
538 9
|
前端开发 JavaScript
JavaScript 动态更新 CSS
【9月更文挑战第01天】
219 2
|
JavaScript API PHP
一言API搭建教程:搭建属于自己的文言API接口
这篇文章介绍了如何搭建一个属于自己的文言API接口。文章首先介绍了准备工作,包括代码编辑器和两个文件的创建。然后详细说明了如何将代码复制到php文件中并上传至网站根目录。最后给出了一个示例代码来调用文言API接口。整个过程非常简单。
341 2
|
数据采集 机器学习/深度学习 数据挖掘
揭秘DataFrame缺失值处理的神秘面纱:从填充到删除,再到插值,你的数据能否起死回生?
【8月更文挑战第22天】在数据分析中,处理DataFrame内的缺失值至关重要。本文通过一个关于公司员工基本信息的例子,展示了三种常见方法:填充、删除和插值。首先构建了一个含有缺失值的DataFrame,然后使用均值填充年龄缺失值;接着演示了删除含缺失值的行;最后采用线性插值填补。此外,对于复杂情形,还可利用机器学习预测填充。合理处理缺失值能有效提升数据质量,为后续分析奠定坚实基础。
390 2
|
存储
软件设计师软考题目解析17 --每日五题
这篇文章提供了软件设计师软考的每日五题解析,包括页面变换、段页式存储管理、可变式分区分配、虚拟页式存储管理和I/O接口编址等计算机系统相关题目。
420 0
|
开发框架 前端开发 JavaScript
【前端】前端的三大主流框架
【前端】前端的三大主流框架
920 3