【Python机器学习专栏】关联规则学习:Apriori算法详解

简介: 【4月更文挑战第30天】Apriori算法是一种用于关联规则学习的经典算法,尤其适用于购物篮分析,以发现商品间的购买关联。该算法基于支持度和置信度指标,通过迭代生成频繁项集并提取满足阈值的规则。Python中可借助mlxtend库实现Apriori,例如处理购物篮数据,设置支持度和置信度阈值,找出相关规则。

在数据分析和数据挖掘中,关联规则学习是一种非常重要的技术,它旨在从大型数据集中发现变量之间的关系。关联规则学习的最典型应用场景就是“购物篮分析”,通过了解哪些商品经常一起被购买,零售商可以制定更有效的销售策略。Apriori算法是关联规则学习中最常用的一种算法,本文将对Apriori算法进行详细的介绍,并通过Python实现该算法。

一、关联规则学习概述

关联规则学习是一种在大型数据集中寻找项集之间有趣关系的方法。一个关联规则可以表示为X -> Y,其中X和Y是不相交的项集,即X ∩ Y = ∅。关联规则学习的主要目标是找出支持度和置信度均满足一定阈值的强关联规则。

支持度(Support):表示项集{X, Y}在数据集中出现的频率,记作P(X, Y)。
置信度(Confidence):表示在出现项集X的条件下,项集Y也出现的概率,记作P(Y|X)。
二、Apriori算法原理

Apriori算法是一种基于候选项集生成和测试的关联规则学习算法。它利用了两个重要的性质来减少候选项集的数量:

如果一个项集是频繁的,则它的所有子集也一定是频繁的。
如果一个项集是非频繁的,则它的所有超集也一定是非频繁的。
基于这两个性质,Apriori算法通过迭代的方式生成候选项集,并计算每个候选项集的支持度,从而找出所有频繁的项集。在找到频繁的项集后,Apriori算法再从中提取出满足置信度阈值的关联规则。

三、Apriori算法步骤

数据准备:将数据集转换为适合Apriori算法处理的格式,通常是将数据集转换为布尔型矩阵,其中每一行代表一个事务,每一列代表一个项。

计算频繁1-项集:遍历数据集中的每一项,统计每项的出现次数,得到频繁1-项集列表L1。

迭代生成频繁k-项集(k > 1):

生成候选项集:根据L(k-1)和Apriori性质,生成候选k-项集列表Ck。
计算候选项集的支持度:遍历数据集中的每一个事务,统计Ck中每个候选项集的出现次数,从而计算支持度。
生成频繁k-项集:根据支持度阈值,从Ck中筛选出频繁的k-项集,形成列表Lk。
提取关联规则:从频繁项集中提取出满足置信度阈值的关联规则。

四、Python实现Apriori算法

在Python中,我们可以使用mlxtend库来实现Apriori算法。下面是一个简单的示例:

python
import pandas as pd
from mlxtend.frequent_patterns import apriori
from mlxtend.frequent_patterns import association_rules

示例数据集(购物篮数据)

dataset = [['牛奶', '面包', '黄油'],
['面包', '黄油', '尿布'],
['牛奶', '尿布', '啤酒', '鸡蛋'],
['面包', '牛奶', '尿布', '啤酒'],
['面包', '牛奶', '尿布', '鸡蛋'],
['面包', '黄油', '尿布', '啤酒'],
['面包', '黄油', '尿布', '可乐']]

将数据集转换为布尔型矩阵

def list_to_onehot(lst, vocabulary):
return [1 if word in lst else 0 for word in vocabulary]

合并所有事务形成词汇表

vocabulary = set([item for transaction in dataset for item in transaction])
transactions = [[list_to_onehot(transaction, vocabulary)] for transaction in dataset]

将布尔型矩阵转换为DataFrame

df = pd.DataFrame(transactions, columns=vocabulary)

计算频繁项集(设定支持度阈值为0.2)

frequent_itemsets = apriori(df, min_support=0.2, use_colnames=True)

提取关联规则(设定置信度阈值为0.7)

rules = association_rules(frequent_itemsets, metric="confidence", min_threshold=0.7)

打印关联规则

print(rules[['antecedents', 'consequents', 'support', 'confidence']])
在上面的代码中,我们首先定义了一个示例数据集,然后将其转换为布尔型矩阵。接着,我们使用mlxtend库中的

相关文章
|
19天前
|
机器学习/深度学习 人工智能 算法
猫狗宠物识别系统Python+TensorFlow+人工智能+深度学习+卷积网络算法
宠物识别系统使用Python和TensorFlow搭建卷积神经网络,基于37种常见猫狗数据集训练高精度模型,并保存为h5格式。通过Django框架搭建Web平台,用户上传宠物图片即可识别其名称,提供便捷的宠物识别服务。
212 55
|
7天前
|
存储 缓存 监控
局域网屏幕监控系统中的Python数据结构与算法实现
局域网屏幕监控系统用于实时捕获和监控局域网内多台设备的屏幕内容。本文介绍了一种基于Python双端队列(Deque)实现的滑动窗口数据缓存机制,以处理连续的屏幕帧数据流。通过固定长度的窗口,高效增删数据,确保低延迟显示和存储。该算法适用于数据压缩、异常检测等场景,保证系统在高负载下稳定运行。 本文转载自:https://www.vipshare.com
102 66
|
18天前
|
Python 容器
Python学习的自我理解和想法(9)
这是我在B站跟随千锋教育学习Python的第9天,主要学习了赋值、浅拷贝和深拷贝的概念及其底层逻辑。由于开学时间紧张,内容较为简略,但希望能帮助理解这些重要概念。赋值是创建引用,浅拷贝创建新容器但元素仍引用原对象,深拷贝则创建完全独立的新对象。希望对大家有所帮助,欢迎讨论。
|
9天前
|
Python
Python学习的自我理解和想法(10)
这是我在千锋教育B站课程学习Python的第10天笔记,主要学习了函数的相关知识。内容包括函数的定义、组成、命名、参数分类(必须参数、关键字参数、默认参数、不定长参数)及调用注意事项。由于开学时间有限,记录较为简略,望谅解。通过学习,我理解了函数可以封装常用功能,简化代码并便于维护。若有不当之处,欢迎指正。
|
11天前
|
存储 运维 监控
探索局域网电脑监控软件:Python算法与数据结构的巧妙结合
在数字化时代,局域网电脑监控软件成为企业管理和IT运维的重要工具,确保数据安全和网络稳定。本文探讨其背后的关键技术——Python中的算法与数据结构,如字典用于高效存储设备信息,以及数据收集、异常检测和聚合算法提升监控效率。通过Python代码示例,展示了如何实现基本监控功能,帮助读者理解其工作原理并激发技术兴趣。
49 20
|
4天前
|
算法 网络协议 Python
探秘Win11共享文件夹之Python网络通信算法实现
本文探讨了Win11共享文件夹背后的网络通信算法,重点介绍基于TCP的文件传输机制,并提供Python代码示例。Win11共享文件夹利用SMB协议实现局域网内的文件共享,通过TCP协议确保文件传输的完整性和可靠性。服务器端监听客户端连接请求,接收文件请求并分块发送文件内容;客户端则连接服务器、接收数据并保存为本地文件。文中通过Python代码详细展示了这一过程,帮助读者理解并优化文件共享系统。
|
9天前
|
存储 算法 Python
文件管理系统中基于 Python 语言的二叉树查找算法探秘
在数字化时代,文件管理系统至关重要。本文探讨了二叉树查找算法在文件管理中的应用,并通过Python代码展示了其实现过程。二叉树是一种非线性数据结构,每个节点最多有两个子节点。通过文件名的字典序构建和查找二叉树,能高效地管理和检索文件。相较于顺序查找,二叉树查找每次比较可排除一半子树,极大提升了查找效率,尤其适用于海量文件管理。Python代码示例包括定义节点类、插入和查找函数,展示了如何快速定位目标文件。二叉树查找算法为文件管理系统的优化提供了有效途径。
41 5
|
20天前
|
存储 索引 Python
Python学习的自我理解和想法(6)
这是我在B站千锋教育学习Python的第6天笔记,主要学习了字典的使用方法,包括字典的基本概念、访问、修改、添加、删除元素,以及获取字典信息、遍历字典和合并字典等内容。开学后时间有限,内容较为简略,敬请谅解。
|
16天前
|
算法
PAI下面的gbdt、xgboost、ps-smart 算法如何优化?
设置gbdt 、xgboost等算法的样本和特征的采样率
40 2
|
20天前
|
Python
Python学习的自我理解和想法(7)
学的是b站的课程(千锋教育),跟老师写程序,不是自创的代码! 今天是学Python的第七天,学的内容是集合。开学了,时间不多,写得不多,见谅。