Python案例实现｜爬取租房网站信息

获得房源的楼层、电梯、面积、朝向、户型和租金等信息的具体过程如下。

① 在上一步得到的house字典中读取房源详情页的URL链接，发送请求获取房源详情页面的HTML源码，并对其进行解析。

② 通过XPath获取房屋租金rent和房屋户型model，得到的结果存入house字典。

③ 通过XPath获取房屋楼层、电梯、面积和朝向。因为HTML内容中解析得到的数据含有空格，使用dataCleaning（）方法对其进行数据清洗，该方法同时对数据进行类型转换，最终将得到的房屋楼层、电梯、面积和朝向数据存入house字典。

至此，所需的数据都保存在house字典中，该部分代码如下。

defgetDetail(house) :
爬取并解析房源详情页的数据，将其存入字典中。
:param house:含有房源详情页 URL 链接和地理位置的字典
: return:含有案例拟爬取数据的字典

# 读取房源详情页的 URL 链接
url=house"detailsLink"
try:
response=requests.get(url=url,timeout=10)except:
return None,None
# 获取房源详情页面 HTML，并对其进行解析myelement=etree.HTML(response.text)# 获取房屋租金和房屋户型
house["rent"]=myelement.xpath('//div[@ class="content aside- - title"]/span/text()')[0house["model"]=(myelement.xpath('//ul[@class="content aside list"]/li[2]/text()'))[o].split("")[o]
# 获取房屋其他信息:楼层，电梯，面积，朝向
details=myelement.xpath('//div[@class="content article info"]/ul[1]/li/text())
details=dataCleaning(details)
house_"floor"=details"楼层
house["lift"=details["电梯
house"area”=details "面积"
house "toward"=details "朝向
return house,response.status code

在上面的代码中，使用dataCleaning（）函数对一条房屋的信息进行数据清洗，以获取房屋的楼层、电梯、面积和朝向等数据。数据清洗包括两部分：删除数据中的空格'\xa0'；将数据由列表类型转换成字典类型，以方便存储。例如，一条房屋信息原本的类型是列表类型：［'基本信息'，'面积：89.00m2'，'朝向：南'，'\xa0'，'维护：5天前'，'入住：随时入住'，'\xa0'，'楼层：中楼层/28层'，'电梯：有'，'\xa0'，'车位：暂无数据'，'用水：暂无数据'，'\xa0'，'用电：暂无数据'，'燃气：有'，'\xa0'，'采暖：集中供暖'］，经过dataCleaning（）函数后，该房屋类型被转换为字典类型：{'面积': '89.00'，'朝向': '南'，'维护': '5天前'，'入住': '随时入住'，'楼层': '中楼层/28层'，'电梯': '有'，'车位': '暂无数据'，'用水': '暂无数据'，'用电': '暂无数据'，'燃气': '有'，'采暖': '集中供暖' }。dataCleaning（）函数的具体实现如下。

def dataCleaning(details):
I I
对房屋信息进行清洗
:param details: 列表类型，一条房屋信息
:return: 字典类型，清洗后的房屋信息
details=detailsnew details=list()for detail in details:if detail="xa0":continuedetail=str(detail).split(':')new details.append(detail)
return dict(new details)

爬取网页时，不可避免会遇到“\xa0”字符串。“\xa0”其实表示空格。“\xa0”属于latin1（ISO/IEC_8859-1） 中的扩展字符集字符，代表空白符nbsp（non-breaking space）。latin1字符集可向下兼容ASCII码。

（5） 保存数据。通过Python的内置库CSV实现对字典数据按行保存。该部分代码如下。

save(row，fileName) :def
nn
按行保存数据
:param row:字典类型，每一行的数据
:param fileName: 数据保存的文件名
with open(fileName,"a+",newline= ,encoding='qbk') as f:writer=csv.DictWriter(f,fieldnames=fieldnames)writer.writerow(row)

（6） 主程序。在主函数中，从键盘输入链家网的城市简称和爬取的页码范围，并新建CSV文件，以保存爬取的数据。然后调用上述步骤中的各个函数进行数据爬取。

所有数据爬取完成后，通过第三方库Pandas对数据去除重复行，并在数据中添加一列“ID”作为索引列。至此，爬取任务完成。

该部分代码如下。

ifname==main
city = input("请输人要爬取的城市拼音(如北京: bj,上海: sh):").strip().lower()pageRange=input("请输人要爬取的页码范围(如第 1页到第 100 页:1-100):")strip()startPage=int(pageRange.split("-")[0])endPage=int(pageRange.split("-")[17) + 1
#将爬取的数据保存在 CSv 表
fileName=city n lianJia.csv"
fieldnames='floor','lift','district','street','community'，'area','toward''model''rent'
"w",newline='') as f:with open(fileName,#将表头写入 CSv 表
writer=csv.DictWriter(f,fieldnames=fieldnames)writer.writeheader()startTime=time .time ()
for page in range(startPager endPage):print("\n--->>正在爬取第”+ str(page) +"页”)houses=getPageLines(city=city，page=page)for house in houses:
data，statusCode=getDetail(house=house)
if data= None:
continueprint('响应状态:,statusCode)# CSV 文件不需要保存链接网址，所以删除 detailsLink 键值对del data "detailsLink"save(data，fileName)time.sleep(3)endTime=time .time ()print(耗时:，round(endTime- startTime，2)，'s')# 使用 pandas 对数据表进行处理df=pd.read csv(fileName,encoding='gbk')# 删除重复行
df=df.drop duplicates ()index=list()
for i in range(1,len(df) + 1):id="rent" + str(i).zfill(4)index.append(id)
#插入 id列
df.insert(0，"id",index)
df.to csv(fileName，index=False,encoding='gbk')