Python实现Stacking分类模型(RandomForestClassifier、ExtraTreesClassifier、AdaBoostClassifier、GradientBoostingClassifier、SVC)项目实战

本文涉及的产品
模型训练 PAI-DLC,100CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
简介: Python实现Stacking分类模型(RandomForestClassifier、ExtraTreesClassifier、AdaBoostClassifier、GradientBoostingClassifier、SVC)项目实战

说明:这是一个机器学习实战项目(附带数据+代码+文档+视频讲解),如需数据+代码+文档+视频讲解可以直接到文章最后获取。

image.png

image.png

1.项目背景

在大数据时代,我们终于拥有了算法所需要的海量数据。如果把机器学习比作工业革命时的蒸汽机,那么数据就是燃料。有了燃料,机器才能够运转。其次,在硬件方面,随着存储能力、计算能力的增强,以及云服务、GPU(专为执行复杂的数学和几何计算而设计的处理器)等的出现,我们几乎能够随意构建任何深度模型(model)。Stacking集成学习方法可以将多种单一模型以一定的方式组合起来,它可以结合各个单项预测模型的优点,更好地进行预测。

Stacking集成学习方法最初由Wolpert于1992年提出。作为一种新兴的算法,它在不同领域均有应用,并且取得了较为不错的结果。Stacking的特别之处在于,它可以融合不同种类的模型。在解决分类问题时,以一个层数为2的Stacking集成框架为例,一般地,框架的第一层由多个基分类器组成,各基分类器的输入均为训练数据,框架的第二层是元分类器,元分类器的训练数据由第一层基分类器的输出和原始训练数据的标签组成,元分类器经过训练后,就可以得到完整的Stacking集成模型

2.数据获取

本次建模数据来源于网络(本项目撰写人整理而成),数据项统计如下

 

编号 

变量名称

描述

1

PassengerId

乘客编号

2

Survived

是否存活 目标变量 1-生存  0-死亡

3

Pclass

客舱等级 1=1等舱,2=2等舱,3=3等舱

4

Name

乘客姓名

5

Sex

乘客性别(Sex):男性male,女性female

6

Age

年龄

7

SibSp

同代直系亲属人数

8

Parch

不同代直系亲属人数

9

Ticket

船票编号

10

Fare

船票价格

11

Cabin

客舱号

12

Embarked

登船港口

出发地点:S=英国南安普顿Southampton

途径地点1:C=法国 瑟堡市Cherbourg

途径地点2:Q=爱尔兰 昆士敦Queenstown

数据详情如下(部分展示):

image.png

3.数据预处理 

真实数据中可能包含了大量的缺失值和噪音数据或人工录入错误导致有异常点存在,非常不利于算法模型的训练。数据清洗的结果是对各种脏数据进行对应方式的处理,得到标准的、干净的、连续的数据,提供给数据统计、数据挖掘等使用。数据预处理通常包含数据清洗、归约、聚合、转换、抽样等方式,数据预处理质量决定了后续数据分析挖掘及建模工作的精度和泛化价值。以下简要介绍数据预处理工作中主要的预处理方法:

3.1 用Pandas工具查看数据

使用Pandas工具的head()方法查看前6行数据:

image.png

关键代码:

image.png

3.2对特征Cabin进行处理

使用Pandas工具的type()方法来查类型是否为float类型,来判断乘客是否有客舱号,关键代码:

image.png

3.3构建IsAlone特征

通过SibSp Parch 特征的结合,来构建新的特征FamilySize;通过FamilySize特征来构建IsAlone特征;关键代码如下:

image.png

3.4特征EmbarkedFare缺失数据处理

Embarked特征用’S’来填充空值, Fare特征用中位数来填充空值,关键代码如下:

image.png

image.png

3.5构建CategoricalAge特征

通过年龄的平均值、标准差来构建年龄分段特征,关键代码如下:

image.png

3.6构建Title特征

对乘客名字进行规范化处理,关键代码如下:

image.png

最后针对处理后的特征进行查看,结果如下:

image.png

4.探索性数据分析

4.1 相关性分析

用Pandas工具的corr()方法 matplotlib seaborn进行相关性分析,结果如下:

image.png

通过上图可以看到,数据项之间正值是正相关/负值是负相关,数值越大 相关性越强。

4.2 每个特征生成配对图

image.png

这种配对图,可以看到每两个特征之间 针对乘客是否生存形成对比,方便观察特征。例如:乘客在2等舱且年龄越小 越容易生存。

5.特征工程

5.1 建立特征数据和标签数据

Survived为标签数据,除 Survived之外的为特征数据。关键代码如下:

image.png

6.构建Stacking分类模型

主要使用RandomForestClassifier、ExtraTreesClassifier、AdaBoostClassifier、GradientBoostingClassifier、SVC算法,用于目标分类。第一层模型:使用上面5种算法进行建模、拟合、预测;第二层模型:本次分类模型是使用前5个模型的预测结果作为特征,测试集的标签作为标签,以XGBClassifier算法作为基分类器,进行建模、拟合、预测。

6.1第一层模型参数

编号

模型名称

参数

1

RandomForestClassifier

n_jobs=-1

2

n_estimators=500

3

warm_start=True

4

max_depth=6

5

min_samples_leaf=2

6

max_features='sqrt'

7

verbose: 0

8

ExtraTreesClassifier

n_jobs=-1

9

n_estimators= 500

10

max_depth= 8

11

min_samples_leaf= 2

12

verbose= 0

13

AdaBoostClassifier

n_estimators= 500

14

learning_rate= 0.75

15

GradientBoostingClassifier

n_estimators= 500

16

max_depth= 5

17

min_samples_leaf= 2

18

verbose= 0

19

SVC

kernel= 'linear',

20

C= 0.025

关键代码如下: 

image.png

6.2第一层模型特征重要性

image.png

通过上图可以看出,随机森林模型特征重要性排名为Title、Sex等。

image.png

通过上图可以看出,极端随机树模型特征重要性排名为Sex、Title等。

image.png

通过上图可以看出,AdaBoost模型特征重要性排名为Name_length、Title等。

image.png

通过上图可以看出,Gradient Boost模型特征重要性排名为TitleName_length等。

image.png

通过上图可以看出,所有模型特征重要性排名为Name_length、Title、Sex等。

6.3 五种模型相关性分析

image.png

针对五种模型的预测结果进行相关性分析,通过上图可以看出大于0的为正相关 数值越大相关性越强;小于0的为负相关。 

6.4第二层模型参数

编号

模型名称

参数

1

XGBClassifier

n_estimators=2000

2

max_depth=4

3

min_child_weight=2

4

gamma=0.9

5

subsample=0.8

6

colsample_bytree=0.8

7

objective='binary:logistic'

8

nthread=-1

9

scale_pos_weight=1

关键代码如下:

image.png

7.模型评估

7.1评估指标及结果

评估指标主要包括准确率、查准率、查全率、F1分值等等。

模型名称

指标名称

指标值

测试集

Stacking分类模型

准确率

87.43%

查准率

86.15%

查全率

78.87%

F1分值

82.35%

从上表可以看出,准确率为87%  F1分值为82%,Stacking分类模型也相当不错。

关键代码如下: 

image.png

7.2 分类报告

Stacking分类模型分类报告:

image.png

从上图可以看到,分类类型为0的F1分值为0.90;分类类型为1的F1分值为0.82;整个模型的准确率为0.87.

7.3 ROC曲线

image.png

从上图可以看出AUC值为0.89,模型也相当不错。

8.结论与展望

综上所述,本文采用了Stacking分类模型,最终证明了我们提出的模型效果良好。准确率达到了87%,可用于日常生活中进行建模预测,以提高价值。

# 本次机器学习项目实战所需的资料,项目资源如下:
 
# 项目说明:
 
# 获取方式一:
 
# 项目实战合集导航:
 
https://docs.qq.com/sheet/DTVd0Y2NNQUlWcmd6?tab=BB08J2
 
# 获取方式二:
 
链接:https://pan.baidu.com/s/1Ngc1nNEBhZGy6Zii4aJyHQ 
提取码:0ke1

相关实践学习
使用PAI+LLaMA Factory微调Qwen2-VL模型,搭建文旅领域知识问答机器人
使用PAI和LLaMA Factory框架,基于全参方法微调 Qwen2-VL模型,使其能够进行文旅领域知识问答,同时通过人工测试验证了微调的效果。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
30天前
|
机器学习/深度学习 数据采集 数据挖掘
基于 GARCH -LSTM 模型的混合方法进行时间序列预测研究(Python代码实现)
基于 GARCH -LSTM 模型的混合方法进行时间序列预测研究(Python代码实现)
|
10天前
|
机器学习/深度学习 数据采集 并行计算
多步预测系列 | LSTM、CNN、Transformer、TCN、串行、并行模型集合研究(Python代码实现)
多步预测系列 | LSTM、CNN、Transformer、TCN、串行、并行模型集合研究(Python代码实现)
103 2
|
22天前
|
算法 安全 新能源
基于DistFlow的含分布式电源配电网优化模型【IEEE39节点】(Python代码实现)
基于DistFlow的含分布式电源配电网优化模型【IEEE39节点】(Python代码实现)
|
3月前
|
存储 机器学习/深度学习 人工智能
稀疏矩阵存储模型比较与在Python中的实现方法探讨
本文探讨了稀疏矩阵的压缩存储模型及其在Python中的实现方法,涵盖COO、CSR、CSC等常见格式。通过`scipy.sparse`等工具,分析了稀疏矩阵在高效运算中的应用,如矩阵乘法和图结构分析。文章还结合实际场景(推荐系统、自然语言处理等),提供了优化建议及性能评估,并展望了稀疏计算与AI硬件协同的未来趋势。掌握稀疏矩阵技术,可显著提升大规模数据处理效率,为工程实践带来重要价值。
169 58
|
1月前
|
机器学习/深度学习 算法 调度
【切负荷】计及切负荷和直流潮流(DC-OPF)风-火-储经济调度模型研究【IEEE24节点】(Python代码实现)
【切负荷】计及切负荷和直流潮流(DC-OPF)风-火-储经济调度模型研究【IEEE24节点】(Python代码实现)
|
3月前
|
机器学习/深度学习 人工智能 PyTorch
200行python代码实现从Bigram模型到LLM
本文从零基础出发,逐步实现了一个类似GPT的Transformer模型。首先通过Bigram模型生成诗词,接着加入Positional Encoding实现位置信息编码,再引入Single Head Self-Attention机制计算token间的关系,并扩展到Multi-Head Self-Attention以增强表现力。随后添加FeedForward、Block结构、残差连接(Residual Connection)、投影(Projection)、层归一化(Layer Normalization)及Dropout等组件,最终调整超参数完成一个6层、6头、384维度的“0.0155B”模型
198 11
200行python代码实现从Bigram模型到LLM
|
4月前
|
机器学习/深度学习 人工智能 算法
Python+YOLO v8 实战:手把手教你打造专属 AI 视觉目标检测模型
本文介绍了如何使用 Python 和 YOLO v8 开发专属的 AI 视觉目标检测模型。首先讲解了 YOLO 的基本概念及其高效精准的特点,接着详细说明了环境搭建步骤,包括安装 Python、PyCharm 和 Ultralytics 库。随后引导读者加载预训练模型进行图片验证,并准备数据集以训练自定义模型。最后,展示了如何验证训练好的模型并提供示例代码。通过本文,你将学会从零开始打造自己的目标检测系统,满足实际场景需求。
2820 0
Python+YOLO v8 实战:手把手教你打造专属 AI 视觉目标检测模型
|
8月前
|
数据采集 数据可视化 数据挖掘
金融波动率的多模型建模研究:GARCH族与HAR模型的Python实现与对比分析
本文探讨了金融资产波动率建模中的三种主流方法:GARCH、GJR-GARCH和HAR模型,基于SPY的实际交易数据进行实证分析。GARCH模型捕捉波动率聚类特征,GJR-GARCH引入杠杆效应,HAR整合多时间尺度波动率信息。通过Python实现模型估计与性能比较,展示了各模型在风险管理、衍生品定价等领域的应用优势。
801 66
金融波动率的多模型建模研究:GARCH族与HAR模型的Python实现与对比分析
|
9月前
|
机器学习/深度学习 数据可视化 TensorFlow
使用Python实现深度学习模型的分布式训练
使用Python实现深度学习模型的分布式训练
389 73
|
9月前
|
机器学习/深度学习 数据采集 供应链
使用Python实现智能食品消费需求分析的深度学习模型
使用Python实现智能食品消费需求分析的深度学习模型
236 21

推荐镜像

更多