五、数据清洗
源数据：
import pandas as pd pd.set_option('display.unicode.east_asian_width', True) df = pd.read_excel('../data/马士兵课程记录.xlsx') print(df) print('---------------------------------------------------------------')
买家会员名 买家实际支付金额 课程总数量 课程标题 类别 订单付款时间 0 msb001 30960.00 2.0 Java互联网高级架构师 课程 2020-10-09 1 msb002 1.00 1.0 金三银四面试突击班 NaN 2020-10-09 2 msb003 9980.00 1.0 GoLang从入门到精通 课程 2020-01-19 3 msb004 9980.00 NaN 算法与数据结构进阶班 课程 2020-06-30 4 msb005 9.90 1.0 大前端VIP体验营 NaN 2020-03-23 5 msb006 0.02 1.0 零基础速成班HTML+CSS 课程 2020-03-24 6 msb007 2400.00 1.0 操作系统 课程 2020-03-25 7 msb008 1.00 NaN 自定义注解 课程 2020-03-26 8 msb009 2980.00 1.0 多线程与高并发 课程 2020-03-27 9 msb010 1980.00 1.0 科技英语 课程 2020-03-28 10 msb010 1980.00 1.0 科技英语 课程 2020-03-28
1、查看缺失值
使用DataFrame对象的info()方法
print(df.info())
<class 'pandas.core.frame.DataFrame'> RangeIndex: 11 entries, 0 to 10 Data columns (total 6 columns): # Column Non-Null Count Dtype --- ------ -------------- ----- 0 买家会员名 11 non-null object 1 买家实际支付金额 11 non-null float64 2 课程总数量 9 non-null float64 3 课程标题 11 non-null object 4 类别 9 non-null object 5 订单付款时间 11 non-null datetime64[ns] dtypes: datetime64[ns](1), float64(2), object(3) memory usage: 656.0+ bytes None
2、判断数据是否存在缺失值
使用DataFrame的isnull()方法和notnull()方法
print(df.isnull()) print('---------------------------------------------------------------') print(df.notnull())
买家会员名 买家实际支付金额 课程总数量 课程标题 类别 订单付款时间 0 False False False False False False 1 False False False False True False 2 False False False False False False 3 False False True False False False 4 False False False False True False 5 False False False False False False 6 False False False False False False 7 False False True False False False 8 False False False False False False 9 False False False False False False 10 False False False False False False --------------------------------------------------------------- 买家会员名 买家实际支付金额 课程总数量 课程标题 类别 订单付款时间 0 True True True True True True 1 True True True True False True 2 True True True True True True 3 True True False True True True 4 True True True True False True 5 True True True True True True 6 True True True True True True 7 True True False True True True 8 True True True True True True 9 True True True True True True 10 True True True True True True
3、缺失值的处理方式
- 不处理
- 删除
- 删除所有NaN
df = df.dropna() print(df)
买家会员名 买家实际支付金额 课程总数量 课程标题 类别 订单付款时间 0 msb001 30960.00 2.0 Java互联网高级架构师 课程 2020-10-09 2 msb003 9980.00 1.0 GoLang从入门到精通 课程 2020-01-19 5 msb006 0.02 1.0 零基础速成班HTML+CSS 课程 2020-03-24 6 msb007 2400.00 1.0 操作系统 课程 2020-03-25 8 msb009 2980.00 1.0 多线程与高并发 课程 2020-03-27 9 msb010 1980.00 1.0 科技英语 课程 2020-03-28 10 msb010 1980.00 1.0 科技英语 课程 2020-03-28
- 提取其中不为NaN 或 删除指定NaN
df = df[df['课程总数量'].notnull()] print(df)
买家会员名 买家实际支付金额 课程总数量 课程标题 类别 订单付款时间 0 msb001 30960.00 2.0 Java互联网高级架构师 课程 2020-10-09 1 msb002 1.00 1.0 金三银四面试突击班 NaN 2020-10-09 2 msb003 9980.00 1.0 GoLang从入门到精通 课程 2020-01-19 4 msb005 9.90 1.0 大前端VIP体验营 NaN 2020-03-23 5 msb006 0.02 1.0 零基础速成班HTML+CSS 课程 2020-03-24 6 msb007 2400.00 1.0 操作系统 课程 2020-03-25 8 msb009 2980.00 1.0 多线程与高并发 课程 2020-03-27 9 msb010 1980.00 1.0 科技英语 课程 2020-03-28 10 msb010 1980.00 1.0 科技英语 课程 2020-03-28
- 填充或替换
df['课程总数量'] = df['课程总数量'].fillna(0) print(df)
买家会员名 买家实际支付金额 课程总数量 课程标题 类别 订单付款时间 0 msb001 30960.00 2.0 Java互联网高级架构师 课程 2020-10-09 1 msb002 1.00 1.0 金三银四面试突击班 NaN 2020-10-09 2 msb003 9980.00 1.0 GoLang从入门到精通 课程 2020-01-19 3 msb004 9980.00 0.0 算法与数据结构进阶班 课程 2020-06-30 4 msb005 9.90 1.0 大前端VIP体验营 NaN 2020-03-23 5 msb006 0.02 1.0 零基础速成班HTML+CSS 课程 2020-03-24 6 msb007 2400.00 1.0 操作系统 课程 2020-03-25 7 msb008 1.00 0.0 自定义注解 课程 2020-03-26 8 msb009 2980.00 1.0 多线程与高并发 课程 2020-03-27 9 msb010 1980.00 1.0 科技英语 课程 2020-03-28 10 msb010 1980.00 1.0 科技英语 课程 2020-03-28
- 插值（均值、中位数、众数等填补）
4、重复值处理
- 判断是否具有重复值
print(df.duplicated())
0 False 1 False 2 False 3 False 4 False 5 False 6 False 7 False 8 False 9 False 10 True dtype: bool
- 去除重复数据
df = df.drop_duplicates() print(df)
买家会员名 买家实际支付金额 课程总数量 课程标题 类别 订单付款时间 0 msb001 30960.00 2.0 Java互联网高级架构师 课程 2020-10-09 1 msb002 1.00 1.0 金三银四面试突击班 NaN 2020-10-09 2 msb003 9980.00 1.0 GoLang从入门到精通 课程 2020-01-19 3 msb004 9980.00 NaN 算法与数据结构进阶班 课程 2020-06-30 4 msb005 9.90 1.0 大前端VIP体验营 NaN 2020-03-23 5 msb006 0.02 1.0 零基础速成班HTML+CSS 课程 2020-03-24 6 msb007 2400.00 1.0 操作系统 课程 2020-03-25 7 msb008 1.00 NaN 自定义注解 课程 2020-03-26 8 msb009 2980.00 1.0 多线程与高并发 课程 2020-03-27 9 msb010 1980.00 1.0 科技英语 课程 2020-03-28
- 去除指定列的重复数据,保留后一个
df = df.drop_duplicates(['买家实际支付金额'], keep='last') print(df)
买家会员名 买家实际支付金额 课程总数量 课程标题 类别 订单付款时间 0 msb001 30960.00 2.0 Java互联网高级架构师 课程 2020-10-09 3 msb004 9980.00 NaN 算法与数据结构进阶班 课程 2020-06-30 4 msb005 9.90 1.0 大前端VIP体验营 NaN 2020-03-23 5 msb006 0.02 1.0 零基础速成班HTML+CSS 课程 2020-03-24 6 msb007 2400.00 1.0 操作系统 课程 2020-03-25 7 msb008 1.00 NaN 自定义注解 课程 2020-03-26 8 msb009 2980.00 1.0 多线程与高并发 课程 2020-03-27 10 msb010 1980.00 1.0 科技英语 课程 2020-03-28
- 直接删除,保留一个副本
new_df = df.drop_duplicates(['买家实际支付金额'], inplace=False) print(new_df) # 修改后 print('-----------------------------------------------------------------------------------') print(df) # 原数据
买家会员名 买家实际支付金额 课程总数量 课程标题 类别 订单付款时间 0 msb001 30960.00 2.0 Java互联网高级架构师 课程 2020-10-09 1 msb002 1.00 1.0 金三银四面试突击班 NaN 2020-10-09 2 msb003 9980.00 1.0 GoLang从入门到精通 课程 2020-01-19 4 msb005 9.90 1.0 大前端VIP体验营 NaN 2020-03-23 5 msb006 0.02 1.0 零基础速成班HTML+CSS 课程 2020-03-24 6 msb007 2400.00 1.0 操作系统 课程 2020-03-25 8 msb009 2980.00 1.0 多线程与高并发 课程 2020-03-27 9 msb010 1980.00 1.0 科技英语 课程 2020-03-28 ----------------------------------------------------------------------------------- 买家会员名 买家实际支付金额 课程总数量 课程标题 类别 订单付款时间 0 msb001 30960.00 2.0 Java互联网高级架构师 课程 2020-10-09 1 msb002 1.00 1.0 金三银四面试突击班 NaN 2020-10-09 2 msb003 9980.00 1.0 GoLang从入门到精通 课程 2020-01-19 3 msb004 9980.00 NaN 算法与数据结构进阶班 课程 2020-06-30 4 msb005 9.90 1.0 大前端VIP体验营 NaN 2020-03-23 5 msb006 0.02 1.0 零基础速成班HTML+CSS 课程 2020-03-24 6 msb007 2400.00 1.0 操作系统 课程 2020-03-25 7 msb008 1.00 NaN 自定义注解 课程 2020-03-26 8 msb009 2980.00 1.0 多线程与高并发 课程 2020-03-27 9 msb010 1980.00 1.0 科技英语 课程 2020-03-28 10 msb010 1980.00 1.0 科技英语 课程 2020-03-28
5、异常值的检测与处理
- 什么是异常值
- 超出或低于正常范围的值
- 异常值的检测方式
- 根据给定的数据范围进行判断，不在范围内的数据视为异常值
- 均方差
- 箱形图
- 异常值的处理方式
- 删除
- 当缺失值处理
- 当特殊情况进行分析
