基于Python实现随机森林分类模型(RandomForestClassifier)项目实战

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,5000CU*H 3个月
交互式建模 PAI-DSW,5000CU*H 3个月
简介: 基于Python实现随机森林分类模型(RandomForestClassifier)项目实战

说明:这是一个机器学习实战项目(附带数据+代码+文档+视频讲解),如需数据+代码+文档+视频讲解可以直接到文章最后获取。

image.png

image.png

1.项目背景

高质量的产品不仅能很好地满足顾客对产品使用功能的需要,获得良好的使用体验,提升企业形象和商誉,同时能为企业减少售后维修成本,增加利润。燃气灶市场已成为继家电市场之后各大电器公司竞争的新战场。某电器公司的燃气灶产品销售额一直在国内处于领先地位,把产品质量视为重中之重,每年都要对其产品质量数据进行分析研究,以期不断完善,精益求精。

2.获取数据

本次建模数据来源于电器公司某月燃气灶质量情况统计数据,记录到的燃气灶故障现象均为“打不着火”,其主要的数据基本统计概况如下:

特征变量数:8

数据记录数:1245

是否有NA值:

是否有异常值:

去除异常值和NA值后的数据共计1245条,其特征变量详情如下:

(1)机型:代表所售燃气灶的型号,共计204个型号。

(2)故障代码:代表燃气灶维修部分的记录,分别代表故障模式、故障模式细分、维修方式、故障名称等。

(3)故障模式:表示燃气灶故障的基本情况,分为“微动开关坏”、“热电偶坏”、“电极针坏”、“电磁阀坏”、“脉冲器坏”等5种。

(4)故障模式细分:根据故障基本情况,故障类型又细分为“开裂”、“变形”、“老化”、“调整电极针位置”、“热电偶与电磁阀接触不良”等5种。

(5)维修方式:根据不同燃气灶的具体情况,采用的维修方式分为“更换”和“未更换”2种。

(6)故障名称:根据购买和维修之间的时间跨度,分为“保内”和“保外”两种。

(7)分公司:共有61个分公司负责销售和维修。

(8)单据类型:针对具体情况,每个维修单类型分为“调试”、“维修”、“改气源”、“其它”等4种。

image.png

 

3.数据预处理

真实数据中可能包含了大量的缺失值和噪音数据或人工录入错误导致有异常点存在,非常不利于算法模型的训练。数据清洗的结果是对各种脏数据进行对应方式的处理,得到标准的、干净的、连续的数据,提供给数据统计、数据挖掘等使用。数据预处理通常包含数据清洗、归约、聚合、转换、抽样等方式,数据预处理质量决定了后续数据分析挖掘及建模工作的精度和泛化价值。以下简要介绍数据预处理工作中主要的预处理方法:

3.1导入程序库并读取数据

(1)导入程序库:将所用到的程序库导入到Python程序中,如图所示。

image.png

程序库导入代码

(2)读取数据:使用Pandas库中read_excel方法读取Excel数据,并转为DataFrame类型。读取数据代码如图所示

image.png

 

3.2数据校验和处理

通过对原始数据审查和校验,了解数据基本分布、数值类型,处理数据中异常值和缺失值等情况。

(1)数据替换:原始数据中均以文字记录各项信息,需将文字信息替换成对应的数字代码,方便后期数据挖掘和分析工作。根据故障代码,详细的替换内容如下:

a)故障模式中,将“微动开关坏”、“热电偶坏”、“电极针坏”、“电磁阀坏”、“脉冲器坏”分别替换为“1”、“2”、“3”、“4”、“5”。

b)故障模式细分中,将“开裂”、“变形”、“老化”、“调整电极针位置”、“热电偶与电磁阀接触不良”分别替换为“1”、“2”、“3”、“4”、“5”。

c)维修方式中,将“更换”和“未更换”分别替换为“1”、“2”。

d)故障名称中,将“保内”、“保外”分别替换为“1”、“2”。

e)单据类型中,将“调试”、“维修”、“改气源”、“其它”分别替换为为“1”、“2”、“3”、“4”。

使用Python代码将数据完成替换,图为替换部分代码。

image.png

(2)数据缺失和异常处理:原始数据存在购买日期异常,购买日期记录为1930年,数据特征变量依然不存在缺失值,异常情况如图所示。

image.png  

图数据异常和缺失情况

通过数据预处理、离散化之后,得到干净的燃气灶维系记录信息,如图所示。

image.png

图 经过预处理后的数据

(3)数据概览:本部分通过代码对数据进行审查,检查各部分数据类型和数据缺失情况,其数据类型和缺失情况如图所示,处理后的数据不含缺失值。

image.png image.png

图数据类型和缺失情况

 

4.探索性数据分析

4.1数据分析

(1)机型数量分析:在1245条维修记录中,共有209个燃气灶型号。其中,机型为JZT-7B13、JZT.2-9B13、JZT.2-7G02的燃气灶数量最多,分别有167条、102条和95条记录,分别占比14,1%、8.61%、7.67%。

(2)故障分析:在维修记录中不同部件维修数量不同,其中“电极针坏”的数量占比最多,占全部维修记录的57.43%。“热电偶坏”和“电磁阀坏”的占比次之,分别为21.12%和11.33%。图8为绘制统计图的Python代码,图为故障模式各项占比统计图。

image.png

        图 绘制统计图的Python代码

 

image.png

图 故障模式各项统计图

5种故障模式又分别细分为5项:“开裂”、“变形”、“老化”、“调整电极针位置”、“热电偶与电磁阀接触不良”,分别对5项故障模式统计细分故障模式,统计故障模式细分的Python如图所示,统计结果如图所示。

image.png

        图 统计故障模式细分部分代码

 

image.png

图 故障模式细分统计

图中按顺序分别对应“微动开关坏”、“热电偶坏”、“电极针坏”、“电磁阀坏”、“脉冲器坏”等5种故障模式。故障模式中出现“开裂”、“老化”、“变形”的细分故障最多。

根据燃气灶的5种故障模式,统计各种故障状态的维修方式,统计是否需要更换部件,Python统计维修方式的代码如图所示,其统计结果如图所示。仅当“微动开关坏”时,“未更换”部件的占比高与“更换”部件,其余4种故障模式下,“更换”部件占比均高与“未更换”。 

image.png

 维修方式统计部分代码

image.png

图不同故障下“更换”部件与“未更换”部件占比

4.2相关性分析

image.png

从上面相关性热力图可以看出,故障模式细分与维护方式为0.6,这个属性相关性比较强,其它都在0.3以下,相关性不强。

关键代码:

image.png

 

5.特征工程

根据燃气灶维修记录,通过训练机器学习模型,使之可以根据燃气灶维修记录和是否在保信息,判断所维修的燃气灶是否需要更换故障零件,以期达到动态管理常见故障零部件仓储和调配,减少后续维修工作成本,增加厂商利润。

在机器学习模型建立过程中,需要有足够的数据用与模型训练和测试。用于机器学习的数据集一般需被划分为“训练集”和“验证集”。训练集数据用于模型训练,调整模型的参数;验证集数据用于验证模型性能,评估模型分类的准确度。训练集数据和验证集数据之间互斥。

原始数据经过预处理后,剩余干净数据1245条,有4类主要的特征变量:“故障模式”、“故障模式细分”、“维修方式”和“故障名称”。

5.1哑特征处理

在此数据中,特征变量中故障名称、单据类型的数值为文本类型,不符合机器学习数据要求,需要进行哑特征处理,变为0 1数值。另外,故障模式、故障模式细分的数值为1、2、3、4、5,在建模时会当成数字进行处理,需要进行哑变量处理,转成0 1数值。

处理前:

image.png

处理后:

image.png

关键代码:

image.png

 

5.2 建立特征数据和标签数据

维修方式 为标签数据,除 维修方式 之外的为特征数据。关键代码如下:

image.png

5.3数据集拆分

训练集拆分,分为训练集和验证集,80%训练集和20%验证集。关键代码如下:

image.png  

 

6.构建随机森林分类模型

根据数据中“故障模式”、“故障模式细分”、“故障名称”3种变量的特征,预测“维修方式”中是否需要更换零部件。使用RandomForestClassifier算法,用于目标分类。

6.1模型参数

编号

参数

1

n_estimators=100

2

random_state=0

关键代码如下:

image.png

 

7.模型评估

7.1评估指标及结果 

评估指标主要包括准确率、查准率、查全率、F1值等等。

编号

指标名称

指标值

训练集

1

准确率

96.72%

2

查准率

97.16%

3

查全率

99.08%

4

F1

98.11%

验证集

1

准确率

97.75%

2

查准率

97.46%

3

查全率

100.00%

4

F1

98.71%

关键代码如下:

image.png

 

8.实际应用

通过训练,RandomForestClassifier模型的性能较强,模型训练和验证结果相近,未出现严重过拟合和欠拟合现象。因此,根据“故障模式”、“故障模式细分”、“故障名称”3种属性的特征值,使用RandomForestClassifier算法模型,预测燃气灶维修方式的方法是可行的,而且模型准确率较高。通过这种方法,为降低电器厂商维修成本,增加企业利润,提高电器公司燃气灶等零部件等产品的物资仓储、运输等工作的运行效率。

预测结果数据如下;

image.png

# 本次机器学习项目实战所需的资料,项目资源如下:
 
# 项目说明:
 
# 获取方式一:
 
# 项目实战合集导航:
 
https://docs.qq.com/sheet/DTVd0Y2NNQUlWcmd6?tab=BB08J2
 
# 获取方式二:
 
链接:https://pan.baidu.com/s/1l04or_wfugrV0M-HdFs43g 
提取码:30te
相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
9天前
|
机器学习/深度学习 数据采集 自然语言处理
使用Python实现深度学习模型:智能社交媒体内容分析
使用Python实现深度学习模型:智能社交媒体内容分析
135 70
|
19天前
|
机器学习/深度学习 人工智能 算法框架/工具
使用Python实现深度学习模型:智能家电控制与优化
使用Python实现深度学习模型:智能家电控制与优化
58 22
使用Python实现深度学习模型:智能家电控制与优化
|
9天前
|
机器学习/深度学习 算法 数据可视化
8种数值变量的特征工程技术:利用Sklearn、Numpy和Python将数值转化为预测模型的有效特征
特征工程是机器学习流程中的关键步骤,通过将原始数据转换为更具意义的特征,增强模型对数据关系的理解能力。本文重点介绍处理数值变量的高级特征工程技术,包括归一化、多项式特征、FunctionTransformer、KBinsDiscretizer、对数变换、PowerTransformer、QuantileTransformer和PCA,旨在提升模型性能。这些技术能够揭示数据中的潜在模式、优化变量表示,并应对数据分布和内在特性带来的挑战,从而提高模型的稳健性和泛化能力。每种技术都有其独特优势,适用于不同类型的数据和问题。通过实验和验证选择最适合的变换方法至关重要。
18 5
8种数值变量的特征工程技术:利用Sklearn、Numpy和Python将数值转化为预测模型的有效特征
|
15天前
|
机器学习/深度学习 监控 数据可视化
【BetterBench博士】2024年中国研究生数学建模竞赛 E题:高速公路应急车道紧急启用模型 问题分析、数学模型及Python代码
2024年中国研究生数学建模竞赛E题要求建立高速公路应急车道紧急启用模型,以缓解特定路段的拥堵问题。题目提供了四个视频观测点的数据,需分析交通流参数随时间的变化规律,建立拥堵预警模型,并验证模型有效性。此外,还需设计合理的应急车道启用规则和算法,优化视频监控点布局,以提升决策科学性和成本效益。涉及视频数据处理、非线性动态系统建模和机器学习等技术。适合交通工程、数学、计算机科学等多个专业学生参与。需利用Python等工具进行数据处理和建模。具体问题包括统计参数变化、建立拥堵模型、验证模型有效性、设计启用规则和优化监控点布局。
679 12
【BetterBench博士】2024年中国研究生数学建模竞赛 E题:高速公路应急车道紧急启用模型 问题分析、数学模型及Python代码
|
16天前
|
机器学习/深度学习 人工智能 算法
鸟类识别系统Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+ResNet50算法模型+图像识别
鸟类识别系统。本系统采用Python作为主要开发语言,通过使用加利福利亚大学开源的200种鸟类图像作为数据集。使用TensorFlow搭建ResNet50卷积神经网络算法模型,然后进行模型的迭代训练,得到一个识别精度较高的模型,然后在保存为本地的H5格式文件。在使用Django开发Web网页端操作界面,实现用户上传一张鸟类图像,识别其名称。
60 12
鸟类识别系统Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+ResNet50算法模型+图像识别
|
13天前
|
数据采集 机器学习/深度学习 算法
【BetterBench博士】2024年华为杯E题:高速公路应急车道紧急启用模型 Python代码实现
本文介绍了2024年“华为杯”中国研究生数学建模竞赛的选题分析,重点讨论了高速公路应急车道启用模型的问题。文章详细描述了如何使用YOLOv5和SORT算法进行车辆检测与跟踪,计算车流密度、流量及速度,并利用随机森林回归预测交通拥堵。此外,还提出了多情景动态分析和虚拟应急车道控制策略,以及优化数据采集点布置的方法。提供了完整的Python代码和B站视频教程链接,帮助读者深入理解并实践该模型。
84 6
【BetterBench博士】2024年华为杯E题:高速公路应急车道紧急启用模型 Python代码实现
|
10天前
|
机器学习/深度学习 数据采集 自然语言处理
使用Python实现深度学习模型:智能新闻生成与校对
使用Python实现深度学习模型:智能新闻生成与校对
32 10
|
8天前
|
机器学习/深度学习 数据采集 网络安全
使用Python实现深度学习模型:智能网络安全威胁检测
使用Python实现深度学习模型:智能网络安全威胁检测
33 5
|
7天前
|
机器学习/深度学习 TensorFlow 算法框架/工具
使用Python实现深度学习模型:智能数据隐私保护
使用Python实现深度学习模型:智能数据隐私保护
17 1
|
11天前
|
机器学习/深度学习 数据采集 自然语言处理
使用Python实现深度学习模型:智能广告创意生成
使用Python实现深度学习模型:智能广告创意生成
27 4
下一篇
无影云桌面