AI 助理
备案控制台
开发者社区 阿里云MVP 文章 正文

工业蒸汽量预测比赛全流程解析（附详细Python代码）

2021-07-05 3715
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
任务调度 XXL-JOB 版免费试用，400 元额度，开发版规格
云原生网关 MSE Higress，422元/月
注册配置 MSE Nacos/ZooKeeper，118元/月
简介： 本文所采用的数据集来自于阿里云天池比赛，描述了整个数据挖掘的过程及详细代码，共尝试了5套机器学习算法

采用的数据集情况

本文所采用的数据集来自于阿里云天池比赛，比赛的链接地址为：阿里云天池工业蒸汽量预测比赛链接
其中所下载的数据集包括两个txt文件：zhengqi_train.txt（训练集）和zhengqi_test.txt（测试集）

数据导入

因本文的主要目的是以介绍整个挖掘流程为主，因此采用根据需要逐步导入所需要的库的形式，以下先导入numpy和pandas两个库。

import numpy as np
import pandas as pd

使用pandas导入已经预先下载并存放在本地的训练集和测试集，结合本次的数据集为txt文件，并且数据之间的分隔符为'\t'，因此导入文件的代码如下:

df_train=pd.read_csv(r'D:\zhengqi\zhengqi_train.txt',sep='\t')
df_test=pd.read_csv(r'D:\zhengqi\zhengqi_test.txt',sep='\t')

数据概览

使用head查看训练集和测试集前5条数据的情况：

df_train.head()

image.png

从图中可以看到，训练集总共有39列，其中包括V0至V37共38个特征，target为本次的预测标签值。

df_test.head()

image.png

测试集总共有38列，其中包括V0至V37共38个特征，没有target，本次的预测就是需要根据训练完成的模型，提交测试集的target值。

使用info查看训练集和测试集的整体情况如下：

df_train.info()

image.png


image.png


可以看到，训练集的数据总数为2888条，因为Python默认的index排序是从0开始，所以index显示为0至2887条。non-null代表数据中没有缺失值，因此不需要对于数据进行缺失值填充；float64（39）代表39列数据全部为浮点形式数值数据，不需要进行格式上的转换。 

df_test.info()

image.png


image.png


测试集的数据总数为1925条，index序号为0至1924条。测试集中的数据同样没有缺失值；float64（38）代表38列数据全部为浮点形式数值数据，不需要进行格式上的转换。因此，训练集数据的总体情况和测试集数据是一致的。

特征工程

加载接下去要使用的两个库，matplotlib和seaborn都是Python中常用的可视化工具库。

import matplotlib.pyplot as plt
import seaborn as sns

用以下代码提取出训练集中所有的特征标签，方便之后使用：

#提取df_train中的特征标签，并将起转换成列表形式
feature_list=list(df_train.columns)
#为方便之后使用，去掉列表中被一并提取出来的target标签，确保仅留特征标签
feature_list.remove('target')
#显示特征标签列表
feature_list

feature_list即特征标签列表如下：

['V0','V1','V2','V3','V4','V5','V6','V7','V8','V9','V10','V11','V12','V13','V14','V15','V16','V17', 'V18', 'V19', 'V20', 'V21', 'V22', 'V23', 'V24','V25', 'V26', 'V27', 'V28', 'V29', 'V30', 'V31',
'V32', 'V33', 'V34', 'V35', 'V36', 'V37']

数据分布情况核实

首先需要核实的是训练集的各特征数据分布情况是否和测试集一致，当两者出现较大差异时，将会导致模型失效的情况，可视化对比过程如以下代码所示：

#对于特征标签列表feature_list中的特征标签进行操作，逐个绘制单变量数据
分布图，训练集和测试集的相同特征分布情况绘制在同一张图上以方便比对
for i in feature_list:
    sns.distplot(df_train[{i}])
    sns.distplot(df_test[{i}])
    plt.title(i)
    plt.show()

对于特征数较多的数据集，采用subplot方式绘制各类图是更好的选择，本文因为特征数并不算太多，为了更清晰的进行可视化展现，采用了一个for循环进行逐幅绘制的方式。

从V0到V37，总共生成了38幅单变量数据分布图，其中蓝色的是某特征训练集的数据分布情况，黄色的是测试集的数据分布情况。根据这38幅图，可以判断训练集和测试集各个特征的数据分布是否一致。以下选取典型的4幅作说明：

image.png


训练集和测试集的V0特征数据分布一致


image.png


训练集和测试集的V1特征数据分布一致


image.png


训练集和测试集的V5特征数据分布不一致


image.png


训练集和测试集的V17特征数据分布不一致


理想状态下，针对同一特征，训练集的数据分布曲线应该和测试集的数据分布曲线完全一致，但是这在实际过程中并不多见。如V0和V1两个特征的分布图可以发现，虽然训练集和测试集的数据分布情况略有差异，但仍然可以认为是分布情况一致的。而V5和V17特征图清晰的反映了数据分布不一致的情况。

同时在训练集和测试集中将数据分布不一致的特征去除，代码如下：

df_train=df_train[['V0','V1','V3','V4','V8','V10','V12','V15','V16','V18','V24','V25','V26','V28','V29','V30','V31','V32','V33','V34','V36','target']]
df_test=df_test[['V0','V1','V3','V4','V8','V10','V12','V15','V16','V18','V24','V25','V26','V28','V29','V30','V31','V32','V33','V34','V36']]

因为训练集和测试集的特征经过了筛选都发生了变化，为了方便之后的操作，重新提取出训练集中所有的特征标签，更新特征标签列表feature_list：

#提取df_train中的特征标签，并将起转换成列表形式
feature_list=list(df_train.columns)
#为方便之后使用，去掉列表中被一并提取出来的target标签，确保仅留特征标签
feature_list.remove('target')
#显示特征标签列表
feature_list

更新后的特征标签列表feature_list如下：

['V0','V1','V3','V4','V8','V10','V12','V15','V16','V18','V24','V25','V26','V28','V29','V30','V31','V32','V33','V34','V36']

相关性分析

对于训练集进行相关性分析，所采用的方法为计算皮尔逊相关系数，Python中可以直接在数据集上采用corr的方法，默认的相关系数计算方式就是皮尔逊相关系数。

df_train.corr()

image.png


本文的案例我们只分析各特征标签与预测标签（target）之间的相关性，查看上表的最后一列相关系数计算结果，相关系数的绝对值大于0.5的为强相关性，小于0.5的为弱相关性，0附近的为没有相关性，系数为正代表正相关，系数为负代表负相关。

以可视化方法绘制特征标签与预测标签（target）的散点图，与相关系数的计算结果进行相互校对：

for i in feture_list:
    sns.scatterplot(df_train[f'{i}'],df_train['target'])
    plt.show()

在生成的所有散点图中挑选几幅典型的图来说明不同的相关系数下，散点图的大致形状：

image.png


相关系数0.87，强相关性


image.png


相关系数0.87，强相关性


image.png


相关系数0.6，强相关性


image.png


相关系数0.15，无相关性


image.png


相关系数0.17，无相关性


以0.5为界限，同时在训练集和测试集中去除相关系数绝对值低于0.5的特征，确保被输入模型进行训练的特征与预测目标值有较强的相关性。 

df_train=df_train[['V0','V1','V3','V4','V8','V12','V16','V31','target']]
df_test=df_test[['V0','V1','V3','V4','V8','V12','V16','V31']]

因训练集和测试集的特征再次经过筛选，因此再次更新特征标签列表feature_list：

#提取df_train中的特征标签，并将起转换成列表形式
feature_list=list(df_train.columns)
#为方便之后使用，去掉列表中被一并提取出来的target标签，确保仅留特征标签
feature_list.remove('target')
#显示特征标签列表
feature_list

更新后的特征标签列表feature_list如下：

['V0','V1','V3','V4','V8','V12','V16','V31']

正态分布检验

对于完成进一步筛选的数据集做正态分布检验，以确定是否需要进一步将数据尽可能转换成正态分布的形式，本文同样同时采用指标计算的方法和可视化的方法来同时进行正态分布检验。

导入正态分布检验所需要用到的库：

from scipy import stats

首先检验各个特征中数据的偏度，偏度定义中包括正态分布（偏度=0），右偏分布（也叫正偏分布，其偏度>0），左偏分布（也叫负偏分布，其偏度<0）。

for i in feture_list:
    skew = stats.skew(df_train[f'{i}'])
    print(f'the skew value of feture {i} is {skew}')

image.png


根据偏度的检验结果，各个特征的数据都为左偏，但是总体都满足正态分布。之后检验各个特征中数据的峰度。若峰度≈0，分布的峰态服从正态分布；若峰度>0，分布的峰态陡峭（高尖）；若峰度<0，分布的峰态平缓（矮胖）。 

for i in feture_list:
    kurtosis = stats.kurtosis(df_train[f'{i}'])
    print(f'the kurtosis value of feture {i} is {kurtosis}')

image.png


根据偏度的检验结果，各特征的数据总体都满足正态分布。采用可视化的方法对于指标的计算结果进行确认，结果如下：

image.png


左偏，基本满足正态分布


image.png


左偏，基本满足正态分布


image.png


峰度偏矮，基本满足正态分布


image.png


左偏，基本满足正态分布


image.png


左偏，基本满足正态分布


image.png


左偏，基本满足正态分布


image.png


左偏，基本满足正态分布


image.png


左偏，基本满足正态分布


可视化的检验结果与指标检验结果一致，因此正态分布检验的结论为：各特征数据基本符合正态分布，本文后续不对数据进行正态分布转换处理。

数据集拆分

因为本文的数据来自比赛，因此测试集单独提供，测试集的预测结果作为比赛的评定指标。对于训练集进一步拆分出交叉验证集以判断模型的预测效果，同时确保交叉验证集的数据与训练集数据完全独立：

from sklearn.model_selection import train_test_split
df_train_value, df_vali_value, df_train_target, df_vali_target=train_test_split(df_train_value, df_train_target, test_size=0.25,random_state=1)

拆分完的数据集如下所示：

df_train_value：训练集特征数据集（总数据的75%）

df_train_target：训练集的预测目标数据（总数据的75%）

df_vali_value：交叉验证集特征数据集（总数据的25%）

df_vali_target：交叉验证集的预测目标数据（总数据的25%）

模型训练及检验

对于df_train_value，df_train_target，df_vali_value，df_vali_target的index进行重置，确保所有数据都从第0条开始排序：

df_train_value=df_train_value.reset_index(drop=True)
df_vali_value=df_vali_value.reset_index(drop=True)
df_train_target=df_train_target.reset_index(drop=True)
df_vali_target=df_vali_target.reset_index(drop=True)

对重置完成的各个数据集，将数据转换成矩阵形式供后续使用：

df_train_value=np.array(df_train_value)
df_vali_value=np.array(df_vali_value)
df_train_target=np.array(df_train_target)
df_vali_target=np.array(df_vali_target)

加载验证指标MSE：

from sklearn.metrics import mean_squared_error

算法1：XGBoost

建立模型并进行训练：

import xgboost as xgb
model_xgb=xgb.XGBRegressor(max_depth=5, learning_rate=0.1, n_estimators=160, silent=True, objective='reg:linear')
model_xgb.fit(df_train_value,df_train_target)

对于交叉验证集特征数据集df_vali_value进行预测：

predict_xgb=model_xgb.predict(df_vali_value)

将预测结果及交叉验证集的预测目标数据对比进行指标验证：

mean_squared_error(df_vali_target,predict_xgb)

在未进行深度调参的情况下，采用XGBoost进行预测得出的MSE为0.128。在此基础上抽取交叉验证集的100组数据采用可视化手段直观检验预测效果：

plt.plot(df_vali_target[0:101])
plt.plot(predict_xgb[0:101])

image.png

算法2：GBDT Regression

建立模型并进行训练:

from sklearn.ensemble import GradientBoostingRegressor
model_gbdt=GradientBoostingRegressor(
  loss='ls'
, learning_rate=0.03
, n_estimators=500
, subsample=1
, min_samples_split=2
, min_samples_leaf=1
, max_depth=3
, init=None
, random_state=None
, max_features=None
, alpha=0.9
, verbose=0
, max_leaf_nodes=None
, warm_start=False
)
model_gbdt.fit(df_train_value,df_train_target)

对于交叉验证集特征数据集df_vali_value进行预测：

predict_gbdt=model_gbdt.predict(df_vali_value)

将预测结果及交叉验证集的预测目标数据对比进行指标验证：

mean_squared_error(df_vali_target,predict_gbdt)

在未进行深度调参的情况下，采用GBDT进行预测得出的MSE为0.13。在此基础上抽取交叉验证集的100组数据采用可视化手段直观检验预测效果：

plt.plot(df_vali_target[0:101])
plt.plot(predict_gbdt[0:101])

image.png

算法3：Random Forests

建立模型并进行训练:

from sklearn.ensemble import RandomForestRegressor
model_RF=RandomForestRegressor(n_estimators=200, random_state=0)

对于交叉验证集特征数据集df_vali_value进行预测：

predict_RF=model_RF.predict(df_vali_value)

将预测结果及交叉验证集的预测目标数据对比进行指标验证：

mean_squared_error(df_vali_target,predict_RF)

在未进行深度调参的情况下，采用Random Forests进行预测得出的MSE为0.123。在此基础上抽取交叉验证集的100组数据采用可视化手段直观检验预测效果：

plt.plot(df_vali_target[0:101])
plt.plot(predict_RF[0:101])

image.png

算法4：Bayesian Linear Regression

建立模型并进行训练:

from sklearn import linear_model
model_BR=linear_model.BayesianRidge()
model_BR.fit(df_train_value,df_train_target)

对于交叉验证集特征数据集df_vali_value进行预测：

predict_BR=model_BR.predict(df_vali_value)

将预测结果及交叉验证集的预测目标数据对比进行指标验证：

mean_squared_error(df_vali_target,predict_BR)

采用Bayesian Linear Regression进行预测得出的MSE为0.125。在此基础上抽取交叉验证集的100组数据采用可视化手段直观检验预测效果：

plt.plot(df_vali_target[0:101])
plt.plot(predict_BR[0:101])

image.png

算法5：Linear Regression

建立模型并进行训练:

from sklearn.linear_model import LinearRegression
model_LR=LinearRegression()
model_LR.fit(df_train_value,df_train_target)

对于交叉验证集特征数据集df_vali_value进行预测：

predict_LR=model_LR.predict(df_vali_value)

将预测结果及交叉验证集的预测目标数据对比进行指标验证：

mean_squared_error(df_vali_target,predict_LR)

采用Linear Regression进行预测得出的MSE为0.125。在此基础上抽取交叉验证集的100组数据采用可视化手段直观检验预测效果：

plt.plot(df_vali_target[0:101])
plt.plot(predict_LR[0:101])

image.png

测试集预测

检测测试集状态是否正常：

df_test.head()

image.png

df_test.info()

image.png


将测试集转换为矩阵形式： 

df_test=np.array(df_test)

采用MSE指标最低的模型进行预测，这里采用Random Forests算法模型：

predict_test=model_RF.predict(df_test)

制作提交文件完成实验

按提交要求将预测结果predict_test作为新的一列插入测试集zhengqi_test.txt，标签为target:

test_submit=pd.read_csv(r'D:\天池\工业蒸汽量预测\zhengqi_test.txt',sep='\t')
test_submit['target']=predict_test

通过头五组数据查看提交文件的状态：

test_submit.head()

image.png

文章标签：
云解析DNS
微服务引擎
Python
机器学习/深度学习
数据可视化
算法
关键词：
Python解析
Python代码
流程Python
云解析DNS python
解析Python
朱祺
目录
相关文章
Deephub
|
2月前
|
运维 监控 算法
时间序列异常检测：MSET-SPRT组合方法的原理和Python代码实现
MSET-SPRT是一种结合多元状态估计技术（MSET）与序贯概率比检验（SPRT）的混合框架，专为高维度、强关联数据流的异常检测设计。MSET通过历史数据建模估计系统预期状态，SPRT基于统计推断判定偏差显著性，二者协同实现精准高效的异常识别。本文以Python为例，展示其在模拟数据中的应用，证明其在工业监控、设备健康管理及网络安全等领域的可靠性与有效性。
Deephub
612 13
时间序列异常检测：MSET-SPRT组合方法的原理和Python代码实现
站大爷
|
15天前
|
移动开发 自然语言处理 Linux
Python中r前缀：原始字符串的魔法解析
本文深入解析Python中字符串的r前缀（原始字符串）的设计原理与应用场景。首先分析传统字符串转义机制的局限性，如“反斜杠地狱”问题；接着阐述原始字符串的工作机制，包括语法定义、与三引号结合的用法及特殊场景处理。文章重点探讨其在正则表达式、文件路径和多语言文本处理中的核心应用，并分享动态构建、混合模式编程等进阶技巧。同时纠正常见误区，展望未来改进方向，帮助开发者更好地理解和使用这一特性，提升代码可读性和维护性。
站大爷
32 0
hw2020hw
|
2月前
|
算法 PyTorch 算法框架/工具
昇腾 msmodelslim w8a8量化代码解析
msmodelslim w8a8量化算法原理和代码解析
hw2020hw
130 5
路边两盏灯
|
2月前
|
SQL 自然语言处理 数据库
【Azure Developer】分享两段Python代码处理表格(CSV格式)数据 : 根据每列的内容生成SQL语句
本文介绍了使用Python Pandas处理数据收集任务中格式不统一的问题。针对两种情况：服务名对应多人拥有状态（1/0表示），以及服务名与人名重复列的情况，分别采用双层for循环和字典数据结构实现数据转换，最终生成Name对应的Services列表（逗号分隔）。此方法高效解决大量数据的人工处理难题，减少错误并提升效率。文中附带代码示例及执行结果截图，便于理解和实践。
路边两盏灯
80 5
技术交流18179014480
|
2月前
|
XML JSON API
淘宝商品详情API的调用流程（python请求示例以及json数据示例返回参考）
JSON数据示例：需要提供一个结构化的示例，展示商品详情可能包含的字段，如商品标题、价格、库存、描述、图片链接、卖家信息等。考虑到稳定性，示例应基于淘宝开放平台的标准响应格式。
技术交流18179014480
108 0
翻滚的樱桃肉
|
1月前
|
IDE 开发工具 开发者
手把手教你安装PyCharm 2025：开发者的Python IDE配置全流程+避坑指南
本教程详细介绍了PyCharm 2025版本在Windows系统下的安装流程及配置方法，涵盖AI代码补全与智能调试工具链等新功能。内容包括系统要求、安装步骤、首次运行配置（如主题选择与插件安装）、创建首个Python项目，以及常见问题解决方法。此外，还提供了切换中文界面和延伸学习资源的指导，帮助用户快速上手并高效使用PyCharm进行开发。
翻滚的樱桃肉
809 60
LaoShui
|
11天前
|
传感器 物联网 Linux
Python：蓝牙心率广播设备监测（BLE 心率监测器）技术解析与实现
本文探讨了如何使用 Python 脚本与支持蓝牙低功耗（BLE）心率广播的设备交互以获取实时心率数据。重点分析了 BLE 协议、GATT 服务模型，以及具体方法。此外，还讨论了华为手表等设备的兼容性问题。
LaoShui
91 18
站大爷
|
8天前
|
机器学习/深度学习 算法 关系型数据库
Python循环进阶：嵌套与控制的深度解析
本文深入探讨Python中嵌套循环的原理与应用，从数学模型到工程实践全面解析。内容涵盖嵌套循环的本质（如笛卡尔积实现、变量作用域）、精细控制技巧（如break/continue、迭代器协议、异常处理），以及性能优化策略（预计算、向量化等）。同时结合树形结构遍历、动态规划、游戏开发等典型场景，提供最佳实践建议。掌握这些技巧，助你突破编程瓶颈，实现复杂问题的优雅解决。
站大爷
38 6
陌陌谣
|
1月前
|
存储 监控 算法
员工电脑监控场景下 Python 红黑树算法的深度解析
在当代企业管理范式中，员工电脑监控业已成为一种广泛采用的策略性手段，其核心目标在于维护企业信息安全、提升工作效能并确保合规性。借助对员工电脑操作的实时监测机制，企业能够敏锐洞察潜在风险，诸如数据泄露、恶意软件侵袭等威胁。而员工电脑监控系统的高效运作，高度依赖于底层的数据结构与算法架构。本文旨在深入探究红黑树（Red - Black Tree）这一数据结构在员工电脑监控领域的应用，并通过 Python 代码实例详尽阐释其实现机制。
陌陌谣
45 6
小白学大数据
|
1月前
|
数据采集 机器学习/深度学习 数据挖掘
Python爬虫生成CSV文件的完整流程
Python爬虫生成CSV文件的完整流程
小白学大数据
74 4

阿里云MVP

热门文章

最新文章

  • 1
    通义灵码 Rules 库合集来了，覆盖Java、TypeScript、Python、Go、JavaScript 等
  • 2
    uv安装python及其依赖的加速方法
  • 3
    JetBrains PyCharm 2025.1 发布 - 面向专业开发者的 Python IDE
  • 4
    Python 实战：用 API 接口批量抓取小红书笔记评论，解锁数据采集新姿势
  • 5
    [oeasy]python089_列表_删除列表项_remove_列表长度_len
  • 6
    Python 爬虫如何伪装 Referer？从随机生成到动态匹配
  • 7
    Python 的 for-else 循环结构是如何工作的？
  • 8
    Python中Cp、Cpk、Pp、Ppk的计算与应用
  • 9
    uv找不到Python头文件的解决方案
  • 10
    Python 实战！利用 API 接口获取小红书笔记详情的完整攻略
  • 1
    低代码开发全解析核心功能及其优势
    220
  • 2
    ERP系统中的成本控制与成本降低策略解析
    872
  • 3
    ERP系统中的生产排程与生产效率分析解析
    329
  • 4
    ERP系统中的库存周转率计算与优化解析
    362
  • 5
    ERP系统中的供应商协同与供应链优化解析
    732
  • 6
    ERP系统中的客户投诉管理与解决方案解析
    723
  • 7
    ERP系统中的供应链风险识别与应对策略解析
    758
  • 8
    ERP系统中的财务预测与成本分析解析
    649
  • 9
    ERP系统中的生产过程监控与质量管理解析
    446
  • 10
    ERP系统中的人力资源管理与员工绩效评估解析
    608

    • 相关课程

    更多
  • Python Web开发基础
  • Python爬虫实战
  • Python常用数据科学库
  • Python网络爬虫实战
  • Python完全自学手册图文教程
  • Python基础快速入门实战教程

    • 相关电子书

    更多
  • From Python Scikit-Learn to Sc
  • Data Pre-Processing in Python:
  • 双剑合璧-Python和大数据计算平台的结合

    • 相关实验场景

    更多
  • 基于阿里云百炼构建可以划重点、规划学习计划的学习助手
  • 奥运时刻！零代码生成奥运风格AI写真。
  • 基于函数计算一键部署掌上游戏机
  • 用Python画圣诞树
  • 通过云拨测对指定服务器进行Ping/DNS监测
  • 云端Python及基本操作

    • 推荐镜像

    更多
  • DNS
  • python-release
  • nodejs-release
    • 下一篇
    阿里云OSS设置跨域访问