hands-on-data-analysis 第二单元 - 数据清洗及特征处理

简介: 数值列读取数据后,空缺值的NaN为浮点型,最好用`np.nan`判断是否是NaN。

hands-on-data-analysis 第二单元 - 数据清洗及特征处理

1.缺失值观察与处理

首先当然是导入相应的模块

#加载所需的库
import numpy as np
import pandas as pd
AI 代码解读

1.1 缺失值观察

接下来就是观察缺失值:

df.info()

df.info()
AI 代码解读
RangeIndex: 891 entries, 0 to 890
Data columns (total 12 columns):
 #   Column       Non-Null Count  Dtype  
---  ------       --------------  -----  
 0   PassengerId  891 non-null    int64  
 1   Survived     891 non-null    int64  
 2   Pclass       891 non-null    int64  
 3   Name         891 non-null    object 
 4   Sex          891 non-null    object 
 5   Age          714 non-null    float64
 6   SibSp        891 non-null    int64  
 7   Parch        891 non-null    int64  
 8   Ticket       891 non-null    object 
 9   Fare         891 non-null    float64
 10  Cabin        204 non-null    object 
 11  Embarked     889 non-null    object 
dtypes: float64(2), int64(5), object(5)
memory usage: 83.7+ KB
AI 代码解读

df.isnull().sum()

PassengerId      0
Survived         0
Pclass           0
Name             0
Sex              0
Age            177
SibSp            0
Parch            0
Ticket           0
Fare             0
Cabin          687
Embarked         2
dtype: int64
AI 代码解读

1.2 缺失值处理

数值列读取数据后,空缺值的NaN为浮点型,最好用np.nan判断是否是NaN。

isnull()可以筛选出缺失的值

df[df['Age'].isnull()]
df.tail(5)
AI 代码解读

np.isnan()也可以筛选出缺失的值

df[np.isnan(df['Age'])]
df.tail(5)
AI 代码解读

但是,np.isnan不可以用来与任何数值进行>,==!=之类的比较

np.nan != np.nan
AI 代码解读
True
AI 代码解读

df.dropna(inplace=True)可以用来丢弃掉有NaN数据的那一行,其中inplace=True表示修改原数据。

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.dropna.html

df.fillna(0,inplace=True) 可以用来将NaN数据用0填充,其中inplace=True表示修改原数据。

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.fillna.html

2.重复值

重复值可以使用df.duplicated()来查询

df[df.duplicated()]
AI 代码解读

drop_duplicates()可以用来删除重复值

df = df.drop_duplicates()
AI 代码解读

3.分箱(离散化)处理

3.1.平均分箱

# 将连续变量Age平均分箱成5个年龄段,并分别用类别变量12345表示
df['AgeBand'] = pd.cut(df['Age'], 5,labels = [1,2,3,4,5])
AI 代码解读

3.2.划分分箱

df['AgeBand'] = pd.cut(df['Age'],[0,5,15,30,50,80],labels = [1,2,3,4,5])
AI 代码解读

3.3.概率分箱

df['AgeBand'] = pd.qcut(df['Age'],[0,0.1,0.3,0.5,0.7,0.9],labels = [1,2,3,4,5])
AI 代码解读

4.文本变量进行转换

4.1. 查看文本变量名和种类

#方法一: value_counts
df['Sex'].value_counts()
AI 代码解读
#方法二: unique
df['Sex'].unique()
df['Sex'].nunique()
AI 代码解读

4.2 文本转换

#将类别文本转换为12345
#方法一: replace
df['Sex_num'] = df['Sex'].replace(['male','female'],[1,2])
AI 代码解读
#方法二: map
df['Sex_num'] = df['Sex'].map({'male': 1, 'female': 2})
AI 代码解读
#方法三: 使用sklearn.preprocessing的LabelEncoder
from sklearn.preprocessing import LabelEncoder
for feat in ['Cabin', 'Ticket']:
    lbl = LabelEncoder()
    print(f"feat is {feat}") 
    print("end")
    label_dict = dict(zip(df[feat].unique(), range(df[feat].nunique())))
    print(f"label_dict is {label_dict}")
    print("end label_dict")
    df[feat + "_labelEncode"] = df[feat].map(label_dict)
    df[feat + "_labelEncode"] = lbl.fit_transform(df[feat].astype(str))
AI 代码解读

5. 独热编码

#OneHotEncoder
for feat in ["Age", "Embarked"]:
    x = pd.get_dummies(df[feat], prefix=feat)
    df = pd.concat([df, x], axis=1)
df.head()
AI 代码解读

参考资料

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.dropna.html

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.fillna.html

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.cut.html

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.qcut.html

本项目地址:

hands-on-data-analysis 第二单元 - 飞桨AI Studio (baidu.com)

目录
打赏
0
0
0
0
0
分享
相关文章
【C/C++ 线性表 简介】C/C++中的线性表探索:从标准库到自定义实现
【C/C++ 线性表 简介】C/C++中的线性表探索:从标准库到自定义实现
205 0
NoClassDefFoundError: ch/qos/logback/classic/spi/ThrowableProxy
报错日志: java.lang.NoClassDefFoundError: ch/qos/logback/classic/spi/ThrowableProxy at ch.
11326 0
组合模式(Composite)
组合模式(Composite)
144 0
在Liunx下修改网卡MAC地址
首先必须关闭网卡设备,否则会报告系统忙,无法更改。命令是:sudo /sbin/ifconfig eth0 down 修改 MAC 地址,这一步较 Windows 中的修改要简单。命令是:sudo /sbin/ifconfig eth0 hw ether 00:AA:BB:CC:DD:EE 重新启用网卡sudo /sbin/ifconfig eht0 up网卡的 MA
1619 0
markdown-it 插件如何写(三)
「这是我参与2022首次更文挑战的第5天,活动详情查看:2022首次更文挑战」。
357 0
markdown-it 插件如何写(三)
什么是VPN网关?
VPN网关是一款基于Internet的网络连接服务,通过加密通道的方式实现企业数据中心、企业办公网络或Internet终端与阿里云专有网络(VPC)安全可靠的连接。VPN网关提供IPsec-VPN连接和SSL-VPN连接。
1914 0

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等