序言
- 实战
分析网站结构，确定我们要抓取的数据内容
通过 Chrome 浏览器右键检查查看 network 并对网站结构进行分析发现我们在 ajax 请求界面中，可以看到这些返回的数据正是网站页面中Python岗位招聘的详情信息。
之后我们在查看headers的时候发现该网站请求的方式是Post请求，也就是说在请求的过程中需要携带Form Data数据。
这一块在之前的一篇博客中我也分析过,甚至请求的是另一种Post携带方式。传送门: https://developer.aliyun.com/article/973321?spm=a2c6h.13262185.profile.15.6c2f5dfekQtmF5
在多次对网页界面进行分析评测的时候，发现在点击第二页的时候Form Data的携带格式发生了变化。可以看到 pn=2 肯定是咱们的当前的页数。
第一步：不管三七二十一 ，先请求拿到数据在说
import requests
url = 'https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false'
# 发送携带的数据
form_data = {
'first': 'false',
'pn': 2,
'kd': 'python',
}
result=requests.post(url,data=form_data).text
print(result)
OUT:
{"status":false,"msg":"您操作太频繁,请稍后再访问","clientIp":"113.246.154.37","state":2408}在直接请求界面的时候我们发现网站有反爬机制，不让我们请求《"msg":"您操作太频繁,请稍后再访问"》，我们携带请求头伪装一下，不行
这里我用了一种可以快速生成headers以及cookie的工具：https://curl.trillworks.com/ 用法如下：
我怀疑该网站具有多重反爬策略，当我在次添加cookies试一下的时候；我们发现数据可以正常获取了；难道就这么简单就解决拉勾网数据获取的问题了吗？然而机智的我察觉到事情并没有想像的那么简单；
我的最终解决方案是共用 session，就是说我们在每次请求界面的时候先获取session然后原地更新我们的session之后在进行数据的抓取，最后拿到想要的数据。
第二步：对数据进行分解
import requests
import time
# 第一步 ： 请求数据
def get_requests_data(url, form_data):
# 伪装浏览器
headers = {
'Origin': 'https://www.lagou.com',
'X-Anit-Forge-Code': '0',
'Accept-Encoding': 'gzip, deflate, br',
'Accept-Language': 'zh-CN,zh;q=0.9',
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36',
'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
'Accept': 'application/json, text/javascript, */*; q=0.01',
'X-Requested-With': 'XMLHttpRequest',
'Connection': 'keep-alive',
'X-Anit-Forge-Token': 'None',
}
time.sleep(3)
# 获取session
session_data = requests.session()
# 更新
session_data.headers.update(headers)
session_data.get("https://www.lagou.com/jobs/list_Python?px=new&city=%E5%85%A8%E5%9B%BD")
# 使用session发送post请求获取url及携带的参数保存到本地session中。
content = session_data.post(url=url, data=form_data)
result_data_list = result['content']['positionResult']['result']
for item_data in result_data_list:
list_data = []
list_data.append(item_data['city']) # 岗位对应城市
list_data.append(item_data['companyFullName']) # 公司全名
list_data.append(item_data['companyLabelList']) # 福利待遇
list_data.append(item_data['district']) # 工作地点
list_data.append(item_data['education']) # 学历要求
list_data.append(item_data['formatCreateTime']) # 发布时间
list_data.append(item_data['positionName']) # 职位名称
list_data.append(item_data['salary']) # 薪资
return list_data
if __name__ == '__main__':
url = 'https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false'
# 发送携带的数据
form_data = {
'first': 'false',
'pn': 2,
'kd': 'python',
}
info_list=get_requests_data(url, form_data)
print(info_list)运行结果：
第三步：对解析数据进行存储
这里通过 excel 表格的形式进行存储；
需要 pip install xlwt 安装一下 xlwt 库.
import xlwt
info_result = []
title = ['城市', '公司名称', '福利待遇', '工作地点', '学历要求', '发布时间', '职位名称', '薪资']
info_result.append(title)
# 获取请求返回数据
info_list=get_requests_data(url, form_data)
# 创建workbook,即excel
workbook = xlwt.Workbook(encoding='utf-8')
worksheet = workbook.add_sheet('lg_lagou', cell_overwrite_ok=True)
# 遍历 枚举
for item, title_data in enumerate(info_list):
for item_data, content_data in enumerate(title_data):
worksheet.write(item, item_data, content_data)
workbook.save('lg_lagou.xls')最终显示数据内容
