在综合实战项目中，“北京链家网”租房数据的抓取任务已在 上一篇 完成，得到了数据表bj_lianJia.csv，如图1所示。该数据表包含ID、城区名（district）、街道名（street）、小区名（community）、楼层信息（floor）、有无电梯（lift）、面积（area）、房屋朝向（toward）、户型（model）、房租（rent）等信息。
■ 图1 “北京链家网”租房数据表的部分数据展示
01、案例实现
本节将任务进行如下分解。
（1） 重复行的处理：删除重复行。
（2） 缺失值的处理：数据表中lift和rent列有缺失值，分别采用不同的缺失值处理方式。
（3） 内容格式清洗。
① 将area列的“m2”删掉，这样area列的数据变为数值型，方便后面的数据分析。
② 将toward列中字符间的空格删掉，例如删掉“南 北”中的空格，变为“南北”。
③ 将model列的内容格式转换为“室厅*卫”，例如“2房间1卫”转换为“2室0厅1卫”。
（4） 属性重构造：从floor列中分离出总楼层，形成一个新列，命名为“totalfloor”，例如“中楼层/6层”分离出总楼层“6”。
（5） 对房租rent列数据进行统计分析。
以上任务的实现步骤及代码如下。
（1） 导入库。其中re库为正则表达式库，是Python的标准库，主要用于字符串匹配。代码如下。
import pandas as pd
import re
（2） 读入数据。使用Pandas库的read_csv（）方法读入“北京链家网”的租房数据集bj_lianJia.csv，其中，header=0表示数据表的第一行作为列名，usecols参数值表示使用数据表中列号为1～9的数据，也就是不使用列号为0的“ID”这一列数据。读入的数据列分别是：楼层（floor）、有无电梯（lift）、城区名（district）、街道名（street）、小区名（community）、面积（area）、房屋朝向（toward）、户型（model）、房租（rent）。代码如下。
df=pd.read csv('bj lianJia.csv', encoding='gbk', header=0,usecols=[1,2,3,4
5，6，7，8，9])
print(df)
输出结果为：
floor lift district ... model
0 中楼层/6层 无 房山 ... 2室2厅1卫
1 低楼层/17层 有 顺义 ... 3室1卫
2 中楼层/6层 无 大兴 ... 2室1厅1卫
...
4338 高楼层/28层 有 朝阳 ... 2室1厅1卫
4339 低楼层/2层 有 怀柔 ... 5室2厅5卫
4340 低楼层/4层 无 通州 ... 4室2厅3卫
（3） 重复值处理。首先检测有无重复行，使用Pandas库的duplicated（）方法。如果存在重复的行，使用drop_duplicates（）方法删除这些重复行。代码如下。
print ('----检测有无重复行----')
print(len(dfldf.duplicated()])) # 原地修改 df
df.drop duplicates(inplace=True)print('----打印删除重复行后 df 的行数----)
print(len(df))
输出结果为：
- ---检测有无重复行-
15
----打印删除重复行后 df 的行数----
4326
（4） 缺失值处理。首先统计含有缺失值的列及数量。代码如下。
print ('----未做缺失值处理之前----'!）
print(df.isnul1() .sum())
输出结果为：
----未做缺失值处理之前---
floor 0
lift 8
district 0
street 0
community 0
area 0
toward 0
mode1 0
rent 4
dtype: int64
可以看出，lift列有8个缺失值，rent列存在4个缺失值，分别采取不同的方法对缺失值进行处理：使用填充法，将lift列的缺失值填充为固定值“未知”；使用删除法，对rent列有缺失值的行进行直接删除处理。代码如下。
print ('----将 lift 列的缺失值填充为"未知"---')
df['lift'].fillna('未知’,inplace=True)
print(df.isnul1() .sum())
print ('----将 rent 有缺失值的行直接删除----')
df.dropna(subset=['rent']，inplace=True)
print(df.isnull() .sum() )
print(len(df)) # 输出删除缺失值后 df 的行数
输出结果为：
----将lift列的缺失值填充为“未知”---
floor 0
lift 0
district 0
street 0
community 0
area 0
toward 0
mode1 0
rent 4
dtype: int64
----将rent列有缺失值的行直接删除---
floor 0
lift 0
district 0
street 0
community 0
area 0
toward 0
mode1 0
rent 0
dtype: int64
4322
删除带缺失值的行后，此时DataFrame不再是连续的索引，可以使用reset_index（）方法重置索引。代码如下。
df=df .reset index(drop=True)
print(df)
输出结果为：
floor lift district ... model
0 中楼层/6层 无 房山 ... 2室2厅1卫
1 低楼层/17层 有 顺义 ... 3室1卫
2 中楼层/6层 无 大兴 ... 2室1厅1卫
...
4319 中楼层/8层 有 朝阳 ... 3室1厅1卫
4320 高楼层/28层 有 朝阳 ... 2室2厅1卫
4321 低楼层/2层 无 怀柔 ... 5室2厅5卫
[4322 rows x 9 columns]
（5） 内容格式清洗。
① 将area列的“m2”删掉。首先使用正则表达式库re的findall（）方法将数据表中area列的数字提取出来，这时得到的area列表中的数据舍弃了“m2”，然后再将area列表的数据写回数据表中。代码如下。
area= re.findall('d+. d+',a) for a in df 'area'].values.tolist()]
df['area']=[i for jin range(len(area)) for i in arealj]]
print(df.loc[:5,'area'])
输出结果为：
0 85.00
1 107.00
2 72
3 71.13
4 54.41
5 132.00
Name: area，dtype: object
② 将toward列中字符间的空格删掉。这里用到了Series 对象的替换方法str.replace（），语法格式为series对象sr.replace（pat，repl），其中，参数pat表示要替换的字符串，repl表示新字符串。在下面的代码中，df［'toward'］得到的数据类型为Series类型，在replace（）方法中，要替换的字符串使用了正则表达式'\s+'，其含义是匹配任意多个空格，被替换的新字符串为空字符串，所以使用replace（）方法将查找到的空格替换成空串，即删除了空格。代码如下。
print(df.loc[:5,'toward'])
df['toward']=df['toward'].str.replace('\s+'，')
输出结果为：
0 南北
1 南
2 南北
3 东
4 东
5 南北
Name: toward,dtype: object
③ 将model列的内容格式转换为“室厅卫”。由于原始数据表中户型model的取值为3室2厅1卫或2房间1卫形式，还有少数取值为“未知室1厅1卫”，户型的表现形式不统一，现将其统一为“室厅卫”，转换规则是：房间表示为室，没有给出厅数目表示为0厅，未知室表示为0室。代码如下。
print ("----首先将 model 列中'未知·替换为'0'----")
dff=dfLdfl'model'].str.contains('未知)==True]
print'替换前:\n'，dff)
df.loc[dff.index,'model =dffl'model'].str.replace('未知',0')
print('替换后:\n'，df.loc dff.index])
print("----然后将 model 列统一为￥室￥厅*卫----")
model_n=_re.findall('d+',m) for m in dfl'model'] .values.tolist()]
new model=list()
for m in model n:
if len(m)==3:
new model.append(m[0]+'室'+m[1]+厅'+m[2]+'卫')
elif len(m)==2:
new model.append(m[o] +室'+0厅'+m[1]+卫')
dfl'model =new model
print(df.loc[:5,'model'])
输出结果为：
----首先将 model 列中·未知，替换为 0'----
替换前:
floor lift district ... model rent
3964 低楼层/25层 有 海淀 ... 未知室 1厅1卫 38000.0
[1 rows x 9 columns]
替换后:
floor lift district ... model rent
3964 低楼层/25层 有 海淀 ... 0室0厅0卫 38000.0
[1 rows x 9 columns]
----然后将 model 列统一为*室*厅*卫----
rent
38000.0
0 2室1厅1卫
1 3室0厅1卫
3 3室0厅2卫
4 2室1厅1卫
5 3室2厅2卫
Name: model，dtype: object
（6） 属性重构造：从floor列中分离出总楼层，形成一个新列。这里使用了字符串分割方法split（），该方法通过指定分隔符对字符串进行切分，返回分割后的字符串列表，例如“中楼层/6层”被split（）方法通过分隔符“/”切分为［'中楼层'，'6层'］。然后将楼层写回到df［'floor'］中，将总楼层中的数字使用slice（）方法提取出来，写入df［'totalfloor'］。代码如下。
dff=df['floor'].str.split('/',expand=True)
df['floor =dff 0]
df['totalfloor']=dff[1].str.slice(0,-1,1)
print(df.loc[:5,['floor','totalfloor']])
输出结果为：
floor totalfloor
0 中楼层 6
1 低楼层 17
2 中楼层 6
3 中楼层 8
4 中楼层 4
（7） 对房租rent列数据进行统计分析。
（8） 保存处理后的数据。代码如下。
df.to csv('newbj lianJia.csv',encoding='gbk',index label='ID')
