利用Pandas对小费数据集进行数据预处理实战(附源码)

简介: 利用Pandas对小费数据集进行数据预处理实战(附源码)

需要源码请点赞关注收藏后评论区留言私信~~~

下面将我们利用小费数据集进行随机修改后并且进行常见的预处理操作

首先导入模块

然后获取数据 并显示前五行

fdata=pd.read_excel('tips_mod.xls')
fdata.head()

然后调用describe函数查看数据的描述信息

通过结果可以看出 共有244条记录,通过每个字段的均值和方差,看不出数据有异常

接下来显示聚餐时间段time的不重复值

# 显示用餐时间time的不重复值
fdata['聚餐时间段'].unique()

从结果可以看出有两个拼写错误 Diner和Dier

接下来修改拼写错误的字段值

# 修改拼写错误的字段
fdata.ix[fdata['聚餐时间段']=='Diner','time']='Dinner'
fdata.ix[fdata['聚餐时间段']=='Dier','time']='Dinner'
fdata['聚餐时间段'].unique()

接下来检测数据中的缺失值

# 检测数据中的缺失值
fdata.isnull().sum()

然后删除一行内有两个缺失值的数据

# 删除一行内有两个缺失值的数据
fdata.dropna(thresh=6,inplace=True)
fdata.isnull().sum()

然后删除sex或者time为空的数据

# 删除性别或者聚餐时间为空的行
fdata.dropna(subset=['性别','聚餐时间段'],inplace=True)
fdata.isnull().sum()

最后对剩余有空缺的数据用平均值替换

# 对剩余空缺的数据用平均值替代
fdata.fillna(fdata.mean(),inplace=True)
fdata.isnull().sum()

创作不易 觉得有帮助请点赞关注收藏~~~

相关文章
|
11天前
|
并行计算 数据挖掘 大数据
Python数据分析实战:利用Pandas处理大数据集
Python数据分析实战:利用Pandas处理大数据集
|
2月前
|
数据挖掘 Python
Pandas实战(1):电商购物用户行为数据分析
Pandas实战(1):电商购物用户行为数据分析
96 1
|
2月前
|
数据挖掘 Python
Pandas实战(3):电商购物用户行为数据分析
Pandas实战(3):电商购物用户行为数据分析
114 1
|
2月前
|
数据挖掘 Python
Pandas实战(2):电商购物用户行为数据分析
Pandas实战(2):电商购物用户行为数据分析
62 1
|
1月前
|
数据采集 数据可视化 数据挖掘
Python 数据分析实战:使用 Pandas 进行数据清洗与可视化
【10月更文挑战第3天】Python 数据分析实战:使用 Pandas 进行数据清洗与可视化
91 0
|
2月前
|
数据挖掘 Python
Pandas数据分析实战(2):2023美国财富1000强公司情况
Pandas数据分析实战(2):2023美国财富1000强公司情况
44 0
|
2月前
|
数据采集 数据挖掘 Python
Pandas数据分析实战(1):2023美国财富1000强公司情况
Pandas数据分析实战(1):2023美国财富1000强公司情况
48 0
|
3月前
|
存储 数据挖掘 API
多快好省地使用pandas分析大型数据集
多快好省地使用pandas分析大型数据集
|
3月前
|
数据采集 数据挖掘 数据处理
解锁Python数据分析新技能!Pandas实战学习,让你的数据处理能力瞬间飙升!
【8月更文挑战第22天】Python中的Pandas库简化了数据分析工作。本文通过分析一个金融公司的投资数据文件“investment_data.csv”,介绍了Pandas的基础及高级功能。首先读取并检查数据,包括显示前几行、列名、形状和数据类型。随后进行数据清洗,移除缺失值与重复项。接着转换日期格式,并计算投资收益。最后通过分组计算平均投资回报率,展示了Pandas在数据处理与分析中的强大能力。
45 0
|
4月前
|
数据采集 机器学习/深度学习 数据处理
从基础到卓越:Pandas与NumPy在复杂数据处理中的实战策略
【7月更文挑战第14天】Pandas与NumPy在数据科学中的核心应用:**加载数据(如`read_csv`)、探索(`head()`, `info()`, `describe()`)、数据清洗(`fillna`, `dropna`, `replace`, `apply`)、数值计算(借助NumPy的`ndarray`)、分组聚合(`groupby`与聚合函数)、窗口函数(如`rolling`)和数据筛选排序(布尔索引,`query`,`sort_values`)。通过这些工具,实现从数据预处理到复杂分析的高效处理。
63 0

热门文章

最新文章

下一篇
无影云桌面