利用Pandas对小费数据集进行数据预处理实战(附源码)

简介: 利用Pandas对小费数据集进行数据预处理实战(附源码)

需要源码请点赞关注收藏后评论区留言私信~~~

下面将我们利用小费数据集进行随机修改后并且进行常见的预处理操作

首先导入模块

然后获取数据 并显示前五行

fdata=pd.read_excel('tips_mod.xls')
fdata.head()

然后调用describe函数查看数据的描述信息

通过结果可以看出 共有244条记录,通过每个字段的均值和方差,看不出数据有异常

接下来显示聚餐时间段time的不重复值

# 显示用餐时间time的不重复值
fdata['聚餐时间段'].unique()

从结果可以看出有两个拼写错误 Diner和Dier

接下来修改拼写错误的字段值

# 修改拼写错误的字段
fdata.ix[fdata['聚餐时间段']=='Diner','time']='Dinner'
fdata.ix[fdata['聚餐时间段']=='Dier','time']='Dinner'
fdata['聚餐时间段'].unique()

接下来检测数据中的缺失值

# 检测数据中的缺失值
fdata.isnull().sum()

然后删除一行内有两个缺失值的数据

# 删除一行内有两个缺失值的数据
fdata.dropna(thresh=6,inplace=True)
fdata.isnull().sum()

然后删除sex或者time为空的数据

# 删除性别或者聚餐时间为空的行
fdata.dropna(subset=['性别','聚餐时间段'],inplace=True)
fdata.isnull().sum()

最后对剩余有空缺的数据用平均值替换

# 对剩余空缺的数据用平均值替代
fdata.fillna(fdata.mean(),inplace=True)
fdata.isnull().sum()

创作不易 觉得有帮助请点赞关注收藏~~~

相关文章
|
8月前
|
数据采集 机器学习/深度学习 数据挖掘
利用Beautiful Soup和Pandas进行网页数据抓取与清洗处理实战
本文通过一个实战案例,介绍如何使用Python中的Beautiful Soup库抓取网页数据,并用Pandas进行清洗和处理。首先,确保安装了requests、beautifulsoup4和pandas库。接着,通过requests获取HTML内容,使用Beautiful Soup解析并提取新闻标题、发布时间和正文。然后,利用Pandas对数据进行清洗,包括去除多余空格、替换特殊字符、删除无效数据等。最后,根据需求进行数据处理(如过滤关键词)并保存为CSV或Excel文件。这个案例适合初学者和有一定经验的用户,帮助快速掌握这两个强大的工具。
247 3
|
11月前
|
机器学习/深度学习 数据采集 数据可视化
Python数据科学实战:从Pandas到机器学习
Python数据科学实战:从Pandas到机器学习
|
11月前
|
并行计算 数据挖掘 大数据
Python数据分析实战:利用Pandas处理大数据集
Python数据分析实战:利用Pandas处理大数据集
|
数据挖掘 Python
Pandas实战(1):电商购物用户行为数据分析
Pandas实战(1):电商购物用户行为数据分析
511 1
|
数据挖掘 Python
Pandas实战(3):电商购物用户行为数据分析
Pandas实战(3):电商购物用户行为数据分析
331 1
|
数据挖掘 Python
Pandas实战(2):电商购物用户行为数据分析
Pandas实战(2):电商购物用户行为数据分析
225 1
|
12月前
|
数据采集 数据可视化 数据挖掘
Python 数据分析实战:使用 Pandas 进行数据清洗与可视化
【10月更文挑战第3天】Python 数据分析实战:使用 Pandas 进行数据清洗与可视化
557 0
|
存储 数据挖掘 API
多快好省地使用pandas分析大型数据集
多快好省地使用pandas分析大型数据集
118 1
|
数据挖掘 Python
Pandas数据分析实战(2):2023美国财富1000强公司情况
Pandas数据分析实战(2):2023美国财富1000强公司情况
157 0
|
数据采集 数据挖掘 Python
Pandas数据分析实战(1):2023美国财富1000强公司情况
Pandas数据分析实战(1):2023美国财富1000强公司情况
190 0