《推荐系统:技术、评估及高效算法》一2.6 总结

简介:

本节书摘来自华章出版社《推荐系统:技术、评估及高效算法》一书中的第2章,第2.6节,作者 [ 美]弗朗西斯科·里奇(Francesco Ricci)利奥·罗卡奇(Lior Rokach)布拉哈·夏皮拉(Bracha Shapira)保罗 B.坎特(Paul B.Kantor),更多章节内容可以访问云栖社区“华章计算机”公众号查看

2.6 总结

本章介绍了在设计推荐系统中可能用到的主要的数据挖掘方法和技术。我们也总结了在文献中提到的用法,提供了如何以及在哪用到它们一些粗略指导。

我们从综述在预处理步骤可能用到的技术开始。首先,2.2.1节回顾了如何选择合适的距离衡量指标。在后面的步骤中大部分的方法需要它。余弦相似度和皮尔逊相关度是一般可接受最好的选择。尽管付出了许多的努力来提高这些距离指标,但是最近的工作似乎表明距离函数的选择不是这么重要。然后,在2.2.2节回顾了最基础的抽样,其应用是为了选择原始大数据集的子集,或者是划分训练和测试集。最后,我们讨论降维技术的使用,诸如,在2.2.3节中主成分分析(PCA)和奇异值分解(SVD)作为一种方法来解决维度灾难问题。我们解释了一些使用降维技术的成功案例,特别是在Netflix大奖的环境中。

在2.3节中,我们回顾了主要的分类方法:即近邻,决策树,基于规则分类,贝叶斯网络,人工神经网络,支持向量机。我们看到,尽管kNN(见2.3.1节)的CF是首选的方法,但是所有这些方法都可以应用在不同的环境中。决策树(见2.3.2节)可以被用来导出基于物品内容的模型或者是模拟系统的特殊部分。决策规则(见2.3.3节)可以从预先存在的决策树中推导出,或者是被用来引入商业或者是领域知识。贝叶斯网络(见2.3.4节)是基于内容的推荐中一个流行的方法,但它也可以用来生成一个基于模型的协同过滤系统。类似的方法,人工神经网络能够被用来导出基于模型的推荐,也可以用来结合/混合其他几种算法。最后,支持向量机(见2.3.6节)作为一种方法来推断出基于内容的分类或者是导出CF模型而流行。

对于推荐系统来说,选择合适的分类器不容易,尤其是一些感知判断任务和数据依赖的情况下。在CF的案例中,一些结果似乎表明基于模型方法,使用如SVM或者是贝叶斯网络,能够稍微提高标准kNN分类的性能。但是,这些结果不显著并且很难推广。在基于内容的推荐系统的例子中有些证据表明,在一些例子中贝叶斯网络执行效果比简单方法要好,如决策树。但是,更加复杂的非线性分类,如ANN或SVM,执行效果是否更好还不是很清楚。

因此,给特定的推荐任务选择合适分类器在今天仍有许多探索的地方。实际的经验规则是从最简单的方法做起,并且只有在性能的提升值得时才采用复杂方法。性能增益应该平衡不同的维度,如预测精确度或计算效率。

我们在2.4节中回顾了聚类算法。聚类在推荐系统中一般被用来提高性能。不管是在用户空间还是物品空间,较早进行聚类步骤都能减少随后要做的计算距离的操作数量。但是,这一般以较低的精确度为代价,所以处理时要慎重。事实上,通过使用降维技术(如SVD)提高效率在一般的例子中是好的选择。与分类相反,没有那么多的聚类算法在推荐系统的环境中使用。k-means(见2.4.1节)算法由于简单和相对有效,很难找到实用的替代者。我们在2.4.2节中综述了它们中一些算法,如分层聚类或消息传递算法。尽管这些技术还没有应用在推荐系统中,但为将来的研究提供了有希望的出路。
最后,在2.5节中,我们描述了关联规则并总结了它们在推荐系统的使用。关联规则为推荐物品提供了直观的框架,只要有一个显式或隐式的事务。尽管存在有效的算法来计算关联规则,而且已经被证明比标准kNN的CF准确率好,但是他们仍不是受青睐的方法。

在设计推荐系统中选择正确的数据挖掘技术是一个复杂的任务,其一定受许多特殊问题约束。但是,我们希望本章中技术和经验的简短综述能够帮助读者做出更加合理的决定。除此之外,我们也发现了有待进一步提高的领域和令人兴奋的研究点,以及接下来有待研究的相关研究点。

相关文章
|
8月前
|
人工智能 自然语言处理 NoSQL
对谈Concured首席技术官:利用AI和MongoDB打造个性化内容推荐系统
内容无处不在。无论消费者寻找什么或所处任何行业,找到内容并不困难;关键在于如何找到对应的内容。
1658 0
|
存储 监控 搜索推荐
【业务架构】业务驱动的推荐系统相关技术总结
【业务架构】业务驱动的推荐系统相关技术总结
138 0
|
8月前
|
机器学习/深度学习 搜索推荐 算法
推荐系统离线评估方法和评估指标,以及在推荐服务器内部实现A/B测试和解决A/B测试资源紧张的方法。还介绍了如何在TensorFlow中进行模型离线评估实践。
推荐系统离线评估方法和评估指标,以及在推荐服务器内部实现A/B测试和解决A/B测试资源紧张的方法。还介绍了如何在TensorFlow中进行模型离线评估实践。
459 0
|
2月前
|
机器学习/深度学习 搜索推荐 算法
在数字化时代,推荐系统成为互联网应用的重要组成部分,通过机器学习技术根据用户兴趣和行为提供个性化推荐,提升用户体验
在数字化时代,推荐系统成为互联网应用的重要组成部分,通过机器学习技术根据用户兴趣和行为提供个性化推荐,提升用户体验。本文探讨了推荐系统的基本原理、常用算法、实现步骤及Python应用,介绍了如何克服数据稀疏性、冷启动等问题,强调了合理选择算法和持续优化的重要性。
96 4
|
8月前
|
机器学习/深度学习 数据采集 人工智能
构建一个基于AI的推荐系统的技术探索
【5月更文挑战第23天】本文探讨了构建基于AI的推荐系统的关键技术,包括数据收集、预处理、特征工程、推荐算法(如协同过滤、内容过滤、深度学习)及结果评估。通过理解用户行为和偏好,推荐系统能提供个性化建议。实现步骤涉及确定业务需求、设计数据方案、预处理、算法选择、评估优化及系统部署。随着技术进步,未来推荐系统将更加智能。
|
3月前
|
机器学习/深度学习 人工智能 搜索推荐
用AI技术打造个性化新闻推荐系统
【10月更文挑战第7天】本文将介绍如何使用AI技术构建一个个性化的新闻推荐系统。我们将从数据收集、处理,到模型训练和优化,最后实现推荐系统的全过程进行讲解。通过这篇文章,你将了解到如何利用机器学习和深度学习技术,为用户提供精准的新闻推荐。
82 0
|
5月前
|
数据采集 机器学习/深度学习 人工智能
利用AI技术实现个性化新闻推荐系统
【8月更文挑战第31天】 本文将介绍如何利用AI技术实现一个个性化的新闻推荐系统。我们将使用Python语言和一些常用的机器学习库,如scikit-learn和pandas,来构建一个简单的推荐系统。这个系统可以根据用户的阅读历史和兴趣偏好,为他们推荐相关的新闻文章。我们将从数据预处理、特征提取、模型训练和结果评估等方面进行详细的讲解。
|
6月前
|
机器学习/深度学习 搜索推荐 算法
深度学习在推荐系统中的应用:技术解析与实践
【7月更文挑战第6天】深度学习在推荐系统中的应用为推荐算法的发展带来了新的机遇和挑战。通过深入理解深度学习的技术原理和应用场景,并结合具体的实践案例,我们可以更好地构建高效、准确的推荐系统,为用户提供更加个性化的推荐服务。
|
7月前
|
搜索推荐 算法 UED
基于Python的推荐系统算法实现与评估
本文介绍了推荐系统的基本概念和主流算法,包括基于内容的推荐、协同过滤以及混合推荐。通过Python代码示例展示了如何实现基于内容的推荐和简化版用户-用户协同过滤,并讨论了推荐系统性能评估指标,如预测精度和覆盖率。文章强调推荐系统设计的迭代优化过程,指出实际应用中需考虑数据稀疏性、冷启动等问题。【6月更文挑战第11天】
1223 3
|
7月前
|
机器学习/深度学习 人工智能 搜索推荐
构建基于AI的个性化新闻推荐系统:技术探索与实践
【6月更文挑战第5天】构建基于AI的个性化新闻推荐系统,通过数据预处理、用户画像构建、特征提取、推荐算法设计及结果评估优化,解决信息爆炸时代用户筛选新闻的难题。系统关键点包括:数据清洗、用户兴趣分析、表示学习、内容及协同过滤推荐。实践案例证明,结合深度学习的推荐系统能提升用户体验,未来系统将更智能、个性化。

热门文章

最新文章