机器学习系列5 利用Scikit-learn构建回归模型:准备和可视化数据(保姆级教程)

简介: 在本文中,我们以美国南瓜数据为例,观察并整理了需要的数据,挑选及提取了特征变量:如月份,平均价格。并对其进行了数据可视化,我们发现,9月和10月份是南瓜的平均价格最高。

 本文所用数据免费下载:数据科学机器学习系列5利用Scikit-learn构建回归模型:准备和可视化数据.ipynb-机器学习文档类资源-CSDN文库

前文提要:在上一篇文章中我们在本地搭建了机器学习环境,本文中我将使用Scikit-learn详细实现南瓜价格的回归模型,由于篇幅较长,我将分成三篇文章详细讲述,记得在阅读的时候要保持思考。在处理数据和应用机器学习解决方案时,学习如何提出正确的问题以挖掘数据集的潜力非常重要。

图1 数据整理及可视化

image.gif编辑

在本文中,你将学习:

0 如何为模型构建准备数据

1 如何使用Matplotlib进行数据可视化

       你需要解决的问题将决定你将利用哪种类型的机器学习算法。我们得到的预测成果的质量将在很大程度上取决于数据的质量与性质。

目录

一、数据介绍

二、数据检查并整理

1.数据检查

①缺失值检查

②数据一致性检查

③无效值检查

2.数据整理

①数据过滤

②数据提取    

三、数据可视化

1.散点图

2.柱状图

四、总结


一、数据介绍

       本文提供的数据属于公共数据。这是从美国农业部分发的特种作物终端市场标准报告中提取的原始数据;它来源于美国农业部网站,可以单独下载每个城市的数据。为了方便起见,我们下载的数据已经是多个城市拼接好的数据。

       让我们使用Pythonpandas库,来分析和准备此南瓜数据。

       请点击下载本文提供的数据,它以csv格式存储。我们可以在jupyter notebook中打开 .ipynb 文件,然后使用pandas库的read_csv()函数打开此csv文件。并使用info()函数查看数据的基本组织信息。代码如下:

import pandas as pd #调用pandas库 
pumpkins = pd.read_csv('US-pumpkins.csv') #读取csv文件数据存储到pumpkins 
pumpkins.head() #查看数据的前5行,括号中参数代表查看前n行,默认为5 
pumpkins.tail() #查看数据的后5行,括号中参数代表查看后n行,默认为5

image.gif

图2 南瓜数据

image.gif编辑

pumpkins.info() #查看数据的组织结构

image.gif

图3 数据组织结构

image.gif编辑

通过观察,我们可以发现:

0 红框1是特征变量名,红框2是非空值的数量,红框3是数据类型;

1 数据共有1757行,代表1757个样本,按城市分组;

2 数据很混乱,其中大量数据有缺失值,这对数据分析没有益处;

       事实上,直接就可以拿来训练模型的数据集并不常见。大多数数据都需要我们做清洗,这也是机器学习流程中最麻烦的一个环节。

二、数据检查并整理

       查看这些数据,你注意到了什么?你或许对各种数据类型的混合感到迷茫,但是请放心,数据科学是逻辑清晰的,你需要保持冷静的状态,抓住表象本质,将繁琐的逻辑理清。我会带你慢慢解决它。

       思考机器学习的流程,第一步是什么?是提出问题,我们可以对这个数据提出什么问题呢?使用回归技术试一试,例如“预测给定月份内待售南瓜的平均价格”。再次查看数据,我们需要对原始数据pumpkins进行一些更改才能创建任务所需的数据结构。

1.数据检查

根据我们提出的问题,我们需要价格、月份数据以及南瓜称量数据;

0 平均价格数据可由'Low Price', 'High Price'两列数据计算得到

1 月份数据可从'date'列中提取得到

2 南瓜数据可以从'Packge'列中提取得到

在进行数据整理之前,我们需要对数据进行检查。

①缺失值检查

首先,我们需要检查缺失数据。输入以下代码:

pumpkins.isnull().sum() #检查每列数据中的缺失值的数量

image.gif

图4 缺失值

image.gif编辑

       根据打印出来的结果可以看出,日期'date'数据的缺失值为0,并无缺失值,同理,其余需要的数据也没有缺失值。因此,缺失值检测通过。

②数据一致性检查

       接着我们检查每列数据中的数据一致性。四列数据中,'Package'列中的数据是南瓜的称量单位,称量单位应保持一致,它决定着价格一致性。因此只对此列数据做一致性检验。输入以下代码:

pumpkins["Package"].is_unique

image.gif

       这行代码用于检验数据的值是否唯一,True代表唯一,False表示不唯一。输出结果为:

False

image.gif

       输出结果表明数据不唯一,稍后我们将对其进行处理。

③无效值检查

       本数据因为是通过官方渠道获取,方便初学者入门,因此数据已经剔除无效值,之后的文章中我会详细讲解无效值检查,感兴趣的同学可提前去学习相关知识。

2.数据整理

       现在,我们经过数据检查,整理了以下问题:

Package列数据未通过数据一致性检验

①数据过滤

       我们通过输入以下代码统计"Package"列不同数据出现的频数以选择合适的数据:

pumpkins["Package"].value_counts() #统计"Package"列不同值出现的次数

image.gif

       打印结果如下,结果似乎很混乱,统计的称量方式多种多样。

图5 Package频数统计

image.gif编辑

       经过深入研究原始数据后,我们发现,其中包含“每英寸”、“每箱”甚至“每个”的称重类型,这不是重量单位,它的价格是无意义的。南瓜似乎很难保持一致的重量,所以让我们通过只选择列中有字符串“'bushel”的南瓜来过滤它们,虽然缺失了很多数据,但它们对分析无用。

       输入以下代码用于筛选只包含字符串“bushel”的数据:

pumpkins = pumpkins[pumpkins['Package'].str.contains('bushel', case=True, regex=True)]

image.gif

②数据提取    

       经过数据过滤,现在我们的整理工作只剩下两个:

0 提取月份数据

   0.0 将日期数据转换为月份格式(这些日期数据是美国日期,因此格式为MM/DD/YYYY)

   0.1 将月份提取到新列

1 提取平均值数据

   1.0 计算平均价格并提取至新列

(1)提取月份数据与价格数据

       思考一下如何确定南瓜在给定月份的平均价格。在这里每月平均价格的计算公式为:

(Low Price+High Price)/2

price = (pumpkins['Low Price'] + pumpkins['High Price']) / 2 #price是平均价格 
month = pd.DatetimeIndex(pumpkins['Date']).month #将日期列转换为日期并提取出月份数据

image.gif

       我们需要创建一个“month”列,从“date”列中提取出月份,并赋值给“month”列。

(2)提取数据至新列

       将需要的数据提取出来放置新文件,并查看其结构。输入以下代码:

new_pumpkins=pd.DataFrame({'Month':month,'Package':pumpkins['Package'],'LowPrice':pumpkins['Low Price'],'High Price': pumpkins['High Price'], 'Price': price}) 
new_pumpkins.info()

image.gif

输出结果为:

图6 新数据

image.gif编辑

       我们可以看到,我们分析需要的数据已经基本整理完成。那你是否注意到南瓜单位的量因每行而异呢,你需要规范定价,以便显示每pushel的定价,因此请进行一些数学运算以对其进行标准化。

       在创建new_pumpkins数据之后添加以下代码:

new_pumpkins.loc[new_pumpkins['Package'].str.contains('1 1/9'), 'Price'] = price/(1 + 1/9) # loc()函数通过索引行标签索引行数据,即包含1 1/9的行,price = price/(1 + 1/9) 
new_pumpkins.loc[new_pumpkins['Package'].str.contains('1/2'), 'Price'] = price/(1/2) #同上

image.gif

       根据The Spruce Eats的说法,bushel的重量取决于农产品的类型,因为它是体积测量。“例如,1 bushel西红柿应该重达56磅......叶子和绿色蔬菜以更轻的重量占用更多的空间,所以1 bushel菠菜只有20磅。

       这一切都非常复杂!让我们不要费心进行bushel(单位)到磅的转换,而是按bushel(单位)定价。这一切都表明了解数据的性质是多么重要!

       现在,我们可以根据测量值分析每单位的定价。

Tip:你有没有注意到半bushel出售的南瓜非常昂贵?你能弄清楚为什么吗?因为小南瓜比大南瓜贵得多,可能是因为每bushel的南瓜数量更多,因为一个大空心馅饼南瓜占用了未使用的空间。

三、数据可视化

       数据科学工作者为了体现数据的质量和性质,通常会创建有趣的可视化效果,以显示数据的不同特点。通过这种方式,他们能够直观地显示难以发现的联系和误差。

       可视化还可以帮助确定最适合数据的机器学习技术。例如,散点图中的一条直线表示数据是线性回归练习的典型案例。

       在 Jupyter notebook中入门常用的数据可视化库是matplotlib,虽然有更好的可视化库,但是大多都是基于Matplotlib封装的,学好Matplotlib,走遍天下可视化😁。

       尝试创建一些基本图表来可视化刚刚构建的新数据。

1.散点图

       将平均价格与月份数据并以散点图的形式可视化

import matplotlib.pyplot as plt 
price = new_pumpkins.Price 
month = new_pumpkins.Month 
plt.scatter(price, month) 
plt.show()

image.gif

图4 散点图

image.gif编辑

2.柱状图

       要使图表显示有用的数据,通常需要以某种方式对数据进行分组。让我们尝试创建一个柱状图,其中 y 轴显示月份。这一步我们常称之为“分组聚合

分组聚合的方式创建分组直方图:

new_pumpkins.groupby(['Month'])['Price'].mean().plot(kind='bar')#按月份分组并统计出每个月的平均价格,绘制柱状图 
plt.ylabel("Pumpkin Price") #横轴为月份,纵轴为平均价格

image.gif

图5 直方图

image.gif编辑

       直方图可视化效果很直观!这似乎表明南瓜的最高价格出现在9月和10月。这符合您的期望吗?为什么呢?

   

四、总结

       在本文中,我们以美国南瓜数据为例,观察并整理了需要的数据,挑选及提取了特征变量:如月份,平均价格。并对其进行了数据可视化,我们发现,9月和10月份是南瓜的平均价格最高。下一篇文章中,我将基于本文成果数据构建线性和多项式回归模型。

      课后题:请读者探索Matplotlib绘图类型 — Matplotlib 3.5.1 文档库提供的不同类型的可视化案例。哪些适合回归?哪些又适合分类?

       学习资源

image.gif编辑


如果觉得我的文章对您有帮助,三连+关注便是对我创作的最大鼓励!

“本站所有文章均为原创,欢迎转载,请注明文章出处:https://blog.csdn.net/qq_45590504/category_11752103.html?spm=1001.2014.3001.5482百度和各类采集站皆不可信,搜索请谨慎鉴别。技术类文章一般都有时效性,本人习惯不定期对自己的博文进行修正和更新,因此请访问出处以查看本文的最新版本。”

目录
相关文章
|
7天前
|
机器学习/深度学习 存储 设计模式
特征时序化建模:基于特征缓慢变化维度历史追踪的机器学习模型性能优化方法
本文探讨了数据基础设施设计中常见的一个问题:数据仓库或数据湖仓中的表格缺乏构建高性能机器学习模型所需的历史记录,导致模型性能受限。为解决这一问题,文章介绍了缓慢变化维度(SCD)技术,特别是Type II类型的应用。通过SCD,可以有效追踪维度表的历史变更,确保模型训练数据包含完整的时序信息,从而提升预测准确性。文章还从数据工程师、数据科学家和产品经理的不同视角提供了实施建议,强调历史数据追踪对提升模型性能和业务洞察的重要性,并建议采用渐进式策略逐步引入SCD设计模式。
20 8
特征时序化建模:基于特征缓慢变化维度历史追踪的机器学习模型性能优化方法
|
11天前
|
机器学习/深度学习 人工智能 算法
机器学习算法的优化与改进:提升模型性能的策略与方法
机器学习算法的优化与改进:提升模型性能的策略与方法
100 13
机器学习算法的优化与改进:提升模型性能的策略与方法
|
3天前
|
机器学习/深度学习 人工智能 自然语言处理
云上一键部署 DeepSeek-V3 模型,阿里云 PAI-Model Gallery 最佳实践
本文介绍了如何在阿里云 PAI 平台上一键部署 DeepSeek-V3 模型,通过这一过程,用户能够轻松地利用 DeepSeek-V3 模型进行实时交互和 API 推理,从而加速 AI 应用的开发和部署。
|
1月前
|
编解码 机器人 测试技术
技术实践 | 使用 PAI+LLaMA Factory 微调 Qwen2-VL 模型快速搭建专业领域知识问答机器人
Qwen2-VL是一款具备高级图像和视频理解能力的多模态模型,支持多种语言,适用于多模态应用开发。通过PAI和LLaMA Factory框架,用户可以轻松微调Qwen2-VL模型,快速构建文旅领域的知识问答机器人。本教程详细介绍了从模型部署、微调到对话测试的全过程,帮助开发者高效实现定制化多模态应用。
|
1月前
|
机器学习/深度学习 人工智能 算法
人工智能浪潮下的编程实践:构建你的第一个机器学习模型
在人工智能的巨浪中,每个人都有机会成为弄潮儿。本文将带你一探究竟,从零基础开始,用最易懂的语言和步骤,教你如何构建属于自己的第一个机器学习模型。不需要复杂的数学公式,也不必担心编程难题,只需跟随我们的步伐,一起探索这个充满魔力的AI世界。
52 12
|
10天前
|
人工智能 运维 API
PAI企业级能力升级:应用系统构建、高效资源管理、AI治理
PAI平台针对企业用户在AI应用中的复杂需求,提供了全面的企业级能力。涵盖权限管理、资源分配、任务调度与资产管理等模块,确保高效利用AI资源。通过API和SDK支持定制化开发,满足不同企业的特殊需求。典型案例中,某顶尖高校基于PAI构建了融合AI与HPC的科研计算平台,实现了作业、运营及运维三大中心的高效管理,成功服务于校内外多个场景。
|
2月前
|
机器学习/深度学习 算法 数据挖掘
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构。本文介绍了K-means算法的基本原理,包括初始化、数据点分配与簇中心更新等步骤,以及如何在Python中实现该算法,最后讨论了其优缺点及应用场景。
152 4
|
26天前
|
算法
PAI下面的gbdt、xgboost、ps-smart 算法如何优化?
设置gbdt 、xgboost等算法的样本和特征的采样率
48 2
|
2月前
|
机器学习/深度学习 算法 数据挖掘
C语言在机器学习中的应用及其重要性。C语言以其高效性、灵活性和可移植性,适合开发高性能的机器学习算法,尤其在底层算法实现、嵌入式系统和高性能计算中表现突出
本文探讨了C语言在机器学习中的应用及其重要性。C语言以其高效性、灵活性和可移植性,适合开发高性能的机器学习算法,尤其在底层算法实现、嵌入式系统和高性能计算中表现突出。文章还介绍了C语言在知名机器学习库中的作用,以及与Python等语言结合使用的案例,展望了其未来发展的挑战与机遇。
58 1
|
2月前
|
机器学习/深度学习 自然语言处理 算法
深入理解机器学习算法:从线性回归到神经网络
深入理解机器学习算法:从线性回归到神经网络