AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

基于python的招聘信息爬取

2022-04-15 1588
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
公共DNS（含HTTPDNS解析），每月1000万次HTTP解析
云解析 DNS，旗舰版 1个月
全局流量管理 GTM，标准版 1个月
简介： 最后在学习爬虫的基础知识，浅浅尝试以下爬取拉勾网，一起来看看我的爬取拉勾网历程之旅吧！！！

1、明确分析目标

爬取网站的数据之前我们一定要明确爬取的网站是哪个，哪些页面，页面哪一部分的数据。

1.1 获取拉勾网的地址

介于部分网站在访问的时候，会强制让用户进入登录和注册界面而不是主页。小编在这提醒一下小伙伴们啦！拉勾网的网址和主页图将在下面贴出，快看看你们的是不是和小编一样叭。

拉勾网网址：https://www.lagou.com/

拉勾网主页图展示如下。

image-20220415145433169.png

如上图所示，我们观察一圈发现没有具体的招聘信息，所以这一页不是我们需要爬取的，而是需要访问的页面。我们需要爬取的是有着具体职位的页面，如下图所示（小编在主页点击了java后展示了这个页面）。image-20220415145616250.png

2、编写代码

爬取数据代码编写的实现，有四个最基本的步骤，具体如下所示。

1、发送请求。对于刚刚分析得到的url地址发送和get请求（并且模拟浏览器发送请求）。

2、获取数据。获取服务器返回response响应数据。

3、解析数据。提取最终想要的数据内容。此处即为招聘信息基本数据。

4、保存数据。把爬取到的数据保存至本地。（可以是表格，和csv文件或者txt文件或者一串json格式的字符串）。

2.1  发送请求

为了保证我们发送的请求，即url路径，可以拿到我们想要爬取的数据，我们需要通过浏览器自带的检查工具来查看一下。并查看一下我们需要爬取的数据存放在了页面的哪个地方。

2.1.1 输入关键字

此处以python为例，在主页输入框输入关键字：python，然后点击搜索，我们会得到如下图所示的结果。

image-20220415145616250.png

2.1.2 打开页面检查工具

1、在页面任意除右键，选择菜单中的检查。具体操作如下图所示。

image-20220415150825960.png

2、点击检查后，打开浏览器检查工具，如下图所示。

image-20220415151025686.png

3、在菜单栏选择网络，如下图所示。

image-20220415151528054.png

如上图所示我们可以看到，记录网络活动这一块为空，这里大家先别慌，我们使用快捷键Ctrl+R就会刷新网络活动记录啦。

4、使用快捷键Ctrl+R，具体效果如下图所示。

image-20220415152229528.png

如上图，刷新后一系列的网络活动记录就显示出来了。那么我们下一步就是使用检查工具中的搜索功能对页面的内容某些进行搜索，来查看这些内容被藏在了这些网络活动记录中的哪一条里面。

2.1.3 找寻爬取数据的存放位置

拿下图中安势信息进行举例，我们通过使用检查工具中的搜索功能对安势信息进行搜索，查看安势信息被藏在了这些网络活动记录中的哪一条里面。

1、打开搜索器。点击搜索图标即可开启。

image-20220415153019938.png

2、输入关键字：安势信息

image-20220415153242256.png

3、如上图所示，输入关键字：安势信息，点击刷新按钮后，下方出现了搜索结果，那么它是怎么样的呢？单击进行查看，如下图所示。

image-20220415153504000.png

观察上图我们可以发现，最后的数据变成了一行。至于我们刚刚搜索的，这一行数据太长了，太难翻了，如果有可以检索的工具就好了。

4、点击右下角显示数据的地方，快捷键Ctrl+F，继续输入关键字：安势信息，回车，如下图所示。

image-20220415154101148.png

通过上图，最终我们发现我们需要爬取的数据就在这一条中，并且也在这个url中，即我们需要爬取的url就是地址栏中的路径，接下来我们需要去将这一条网络记录标头中的部分信息去提取出来。

2.1.4 页面具体配置信息

通过2.1.3我们可以得出爬取数据的url为：https://www.lagou.com/wn/jobs?labelWords=&fromSearch=true&suginput=&kd=python

此外我们还需要去拿4个参数：Cookie、Host、Referer、User-Agent。以下操作基于2.1.4的第4步。

1、Cookie

image-20220415155001901.png

如上图所示，直接将Cookie中的数据全篇复制即可。

2、Host

image-20220415155103190.png

如上图所示，Host为：www.lagou.com

3、Referer

image-20220415155233645.png

如上图所示，Referer为：https://www.lagou.com/

4、User-Agent

image-20220415155326016.png

如上图所示，直接将User-Agent中的数据全篇复制即可。

最后我们将1，2，3，4即Cookie、Host、Referer、User-Agent四个参数的值组合起来变为一个Headers，Headers也就是请求头，具体代码展示如下。

headers= {
'Cookie': '__lg_stoken__=74667837daa94dc4815a15e5abcc6d9d6bf9378cf0f87cf07f1cddc90c731b5dbffd39e14b57d61f6f035ab0907f6ed3e8fc29ff867d87d29930f13662e71fc4a2b1cb98192c; X_HTTP_TOKEN=d5f4986d37c406901391579461f5204004058ec73c; Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1649751932; LGRID=20220412162600-e7fc153c-5f7a-4a98-8b5a-64deb84f97a5; sensorsdata2015jssdkcross=%7B%22distinct_id%22%3A%2217ca0ecfddc512-075219529da9d8-513c1f42-1049088-17ca0ecfddd423%22%2C%22first_id%22%3A%22%22%2C%22props%22%3A%7B%22%24latest_traffic_source_type%22%3A%22%E7%9B%B4%E6%8E%A5%E6%B5%81%E9%87%8F%22%2C%22%24latest_search_keyword%22%3A%22%E6%9C%AA%E5%8F%96%E5%88%B0%E5%80%BC_%E7%9B%B4%E6%8E%A5%E6%89%93%E5%BC%80%22%2C%22%24latest_referrer%22%3A%22%22%2C%22%24os%22%3A%22Windows%22%2C%22%24browser%22%3A%22Chrome%22%2C%22%24browser_version%22%3A%2299.0.4844.74%22%7D%2C%22%24device_id%22%3A%2217ca0ecfddc512-075219529da9d8-513c1f42-1049088-17ca0ecfddd423%22%7D',
'Host': 'www.lagou.com',
'Referer': 'https://www.lagou.com/',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.74 Safari/537.36 Edg/99.0.1150.55'    }

注意：因为每个人的IP不同所以每个人的Cookie肯定是不一样的，具体的小伙伴们因自己的情况而定，请不要直接复制小编哦。

2.2  获取数据

2.2.1 第一版爬取

这一部分小编直接贴代码啦！

#encoding=utf-8#导入requests模块importrequestsurl="https://www.lagou.com/wn/jobs?labelWords=&fromSearch=true&suginput=&kd=python"headers= {
'Cookie': 'PRE_LAND=https%3A%2F%2Fwww.lagou.com%2F; LGSID=20220412161649-181e69d0-cfb8-4004-895e-f6e91c067f6a; PRE_SITE=https%3A%2F%2Fwww.lagou.com; privacyPolicyPopup=false; _gid=GA1.2.1338185489.1649751410; TG-TRACK-CODE=index_search; __lg_stoken__=74667837daa94dc4815a15e5abcc6d9d6bf9378cf0f87cf07f1cddc90c731b5dbffd39e14b57d61f6f035ab0907f6ed3e8fc29ff867d87d29930f13662e71fc4a2b1cb98192c; X_HTTP_TOKEN=d5f4986d37c406901391579461f5204004058ec73c; Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1649751932; LGRID=20220412162600-e7fc153c-5f7a-4a98-8b5a-64deb84f97a5; sensorsdata2015jssdkcross=%7B%22distinct_id%22%3A%2217ca0ecfddc512-075219529da9d8-513c1f42-1049088-17ca0ecfddd423%22%2C%22first_id%22%3A%22%22%2C%22props%22%3A%7B%22%24latest_traffic_source_type%22%3A%22%E7%9B%B4%E6%8E%A5%E6%B5%81%E9%87%8F%22%2C%22%24latest_search_keyword%22%3A%22%E6%9C%AA%E5%8F%96%E5%88%B0%E5%80%BC_%E7%9B%B4%E6%8E%A5%E6%89%93%E5%BC%80%22%2C%22%24latest_referrer%22%3A%22%22%2C%22%24os%22%3A%22Windows%22%2C%22%24browser%22%3A%22Chrome%22%2C%22%24browser_version%22%3A%2299.0.4844.74%22%7D%2C%22%24device_id%22%3A%2217ca0ecfddc512-075219529da9d8-513c1f42-1049088-17ca0ecfddd423%22%7D',
'Host': 'www.lagou.com',
'Referer': 'https://www.lagou.com/',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.74 Safari/537.36 Edg/99.0.1150.55'    }
response=requests.get(url=url, headers=headers)
print(response.text)

运行效果如下。

image-20220415161543262.png

不难发现，数据我们拿到了，但是页面结构很乱，十分不便于我们查看，可不可以让这些爬取下来的数据有结构的排列呢？所以爬取的第二版来啦。

2.2.2 第二版爬取

1、先将我们需要爬取的数据部分从爬下来的网页中抠下来，最后发现需要的数据包裹在<script id="__NEXT_DATA__" type="application/json"></script>这组标签。具体如下图所示。

image-20220415162422571.png

image-20220415162511522.png

#使用正则表达式将html中想要获取的内容截取出来html_data=re.findall('<script id="__NEXT_DATA__" type="application/json">(.*?)</script>', response.text)[0]
#因得到的是字符串数据，所以需要使用json.loads()把字符串数据转成字典json_data=json.loads(html_data)
#使用pprint模块，格式化输出字典数据 有一个展示的效果pprint.pprint(json_data)

具体效果显示如下。

image-20220415163100177.png

image-20220415163130259.png

第二版具体的代码在这里啦！

#encoding=utf-8importrequests#导入正则表达式模块importre#导入json模块，将从网页上拿到的字符串转变为json格式importjson#导入格式化输出模块importpprinturl="https://www.lagou.com/wn/jobs?labelWords=&fromSearch=true&suginput=&kd=python"headers= {
'Cookie': ' X_HTTP_TOKEN=d5f4986d37c406902538000561f5204004058ec73c; PRE_UTM=; PRE_LAND=https%3A%2F%2Fwww.lagou.com%2F; _gat=1; Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1650008388; LGSID=20220415153947-7e60ec2e-ee49-4c46-a118-4097fd6af7f3; PRE_HOST=cn.bing.com; PRE_SITE=https%3A%2F%2Fcn.bing.com%2F; TG-TRACK-CODE=index_search; LGRID=20220415153954-22a58f66-8c1b-4209-b1dc-459bc3aae3d3; sensorsdata2015jssdkcross=%7B%22distinct_id%22%3A%2217ca0ecfddc512-075219529da9d8-513c1f42-1049088-17ca0ecfddd423%22%2C%22first_id%22%3A%22%22%2C%22props%22%3A%7B%22%24latest_traffic_source_type%22%3A%22%E8%87%AA%E7%84%B6%E6%90%9C%E7%B4%A2%E6%B5%81%E9%87%8F%22%2C%22%24latest_search_keyword%22%3A%22%E6%9C%AA%E5%8F%96%E5%88%B0%E5%80%BC%22%2C%22%24latest_referrer%22%3A%22https%3A%2F%2Fcn.bing.com%2F%22%2C%22%24os%22%3A%22Windows%22%2C%22%24browser%22%3A%22Chrome%22%2C%22%24browser_version%22%3A%2299.0.4844.74%22%7D%2C%22%24device_id%22%3A%2217ca0ecfddc512-075219529da9d8-513c1f42-1049088-17ca0ecfddd423%22%7D',
'Host': 'www.lagou.com',
'Referer': 'https://www.lagou.com/',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.74 Safari/537.36 Edg/99.0.1150.55'}
response=requests.get(url=url, headers=headers)
#print(response.text)html_data=re.findall('<script id="__NEXT_DATA__" type="application/json">(.*?)</script>', response.text)[0]
# print(html_data)#得到的是字符串数据 需要把字符串数据转成字典json_data=json.loads(html_data)  # 把字符串(完整数据结构)转成字典# print(json_data)pprint.pprint(json_data)  # 格式化输出字典数据 有一个展示的效果

2.3  解析数据

什么是解析数据呢？在2.2章节的最后我们让所有爬取下来的有效信息进行了格式化字典数据的一个输出展示效果。解析其实简单来说，就是从刚刚我们爬的这一堆数据里面，把一些我们需要的数据字段进行提取，比如提取：props、pageProps、initData、content、positionResult、result这些字段，提取的代码具体如下所示。

#字典取值 根据冒号左边得内容（键），提取冒号右边得对应得内容forindexinjson_data['props']['pageProps']['initData']['content']['positionResult']['result']:
dit= {
'职位名字': index['positionName'],
'公司名字': index['companyFullName'],
'工作城市': index['city'],
'学历要求': index['education'],
'经验要求': index['workYear'],
'薪资待遇': index['salary'],
'公司地址': index['positionAddress'],
    }


2.4 保存数据

到这一步小编选用的是导出为csv文件，各位小伙伴们，也可以选择导出为其他格式的文件哦！具体代码和解释如下所示。

#导入csv模块importcsvf=open('拉钩招聘信息.csv', mode='a', encoding='utf-8', newline='')
csv_writer=csv.DictWriter(
f, fieldnames=[
'职位名字',
'公司名字',
'工作城市',
'学历要求',
'经验要求',
'薪资待遇',
'公司地址''详情页'    ]
)
dit= {'2.3中的解析数据'}
csv_writer.writeheader()   #写表头csv_writer.writerow(dit)   #将存在解析后的数据dit写入到csv中#下面是将每一条招聘信息的岗位职责写入到本地磁盘，并且分别生成.txt文件进行存放title=index['positionName'] +index['companyFullName']
title=re.sub(r'[\/?:"<>!]]', '', title)
withopen('info\\'+title+'.txt', mode='w',  encoding='utf-8') asf:
f.write(job_info)


3、福利时刻：代码贴贴

最后全篇的爬取代码都在这里了，代码如下。

#encoding=utf-8importrequests#导入正则表达式模块importre#导入json模块，将从网页上拿到的字符串转变为json格式importjson#导入格式化输出模块importpprint#导入csv模块importcsvf=open('拉钩招聘信息.csv', mode='a', encoding='utf-8', newline='')
csv_writer=csv.DictWriter(
f, fieldnames=[
'职位名字',
'公司名字',
'工作城市',
'学历要求',
'经验要求',
'薪资待遇',
'公司地址''详情页'    ]
)
csv_writer.writeheader()    #写表头url="https://www.lagou.com/wn/jobs?pn={page}&fromSearch=true&suginput=&kd=python"headers= {
'Cookie': '17ca0ecfddd423%22%2C%22first_id%22%3A%22%22%2C%22props%22%3A%7B%22%24latest_traffic_source_type%22%3A%22%E7%9B%B4%E6%8E%A5%E6%B5%81%E9%87%8F%22%2C%22%24latest_search_keyword%22%3A%22%E6%9C%AA%E5%8F%96%E5%88%B0%E5%80%BC_%E7%9B%B4%E6%8E%A5%E6%89%93%E5%BC%80%22%2C%22%24latest_referrer%22%3A%22%22%2C%22%24os%22%3A%22Windows%22%2C%22%24browser%22%3A%22Chrome%22%2C%22%24browser_version%22%3A%2299.0.4844.74%22%7D%2C%22%24device_id%22%3A%2217ca0ecfddc512-075219529da9d8-513c1f42-1049088-17ca0ecfddd423%22%7D',
'Host': 'www.lagou.com',
'Referer': 'https://www.lagou.com/',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.74 Safari/537.36 Edg/99.0.1150.55'    }
response=requests.get(url=url, headers=headers)
#print(response.text)html_data=re.findall('<script id="__NEXT_DATA__" type="application/json">(.*?)</script>', response.text)[0]
#print(html_data)#得到的是字符串数据 需要把字符串数据转成字典json_data=json.loads(html_data)#把字符串(完整数据结构)转成字典#print(json_data)pprint.pprint(json_data)#格式化输出字典数据 有一个展示的效果#字典取值 根据冒号左边得内容（键），提取冒号右边得对应得内容forindexinjson_data['props']['pageProps']['initData']['content']['positionResult']['result']:
pprint.pprint(index)
job_info=index['positionDetail'].replace('<br/>','').replace('<br>') #岗位职责href=f'https://www.lagou.com/wn/jobs/{index["positionId"]}.html'dit= {
'职位名字': index['positionName'],
'公司名字': index['companyFullName'],
'工作城市': index['city'],
'学历要求': index['education'],
'经验要求': index['workYear'],
'薪资待遇': index['salary'],
'公司地址': index['positionAddress'],
'详情页':href    }
csv_writer.writerow(dit)
title=index['positionName'] +index['companyFullName']
title=re.sub(r'[\/?:"<>!]]', '', title)
withopen('info\\'+title+'.txt', mode='w',  encoding='utf-8') asf:
f.write(job_info)


4、最后

以上的代码比较基础，小编在这提几个未实现的点：

  • 没有实现翻页爬取
  • 没有对IP进行封装，爬取数据过多，可能会被服务器识别为爬虫，从而将IP封掉，无法爬取。
  • 没有进行数据格式化

那么以上这些点可爱的读者们你们发现了嘛？嗨嗨嗨，以上未实现的知识点都藏在后续的文章里咯！欢迎提出博客不足的地方，相互学习，共同成长！


文章标签：
云解析DNS
Java
Python
数据采集
数据格式
JSON
关键词：
Python信息
Python招聘信息
Python爬取
Python信息爬取
4rr2oqj44mbf4
目录
相关文章
bruce刘晓伟-18435
|
2月前
|
Python
Python编程获取当前日期的所属周日期信息
Python编程获取当前日期的所属周日期信息
bruce刘晓伟-18435
46 1
一名技术开发者
|
1月前
|
缓存 监控 Linux
Python 实时获取Linux服务器信息
Python 实时获取Linux服务器信息
一名技术开发者
32566 4
爱专研的技术土狗
|
28天前
|
存储 数据采集 数据库
用 Python 爬取淘宝商品价格信息时需要注意什么？
使用 Python 爬取淘宝商品价格信息时，需注意法律和道德规范，遵守法律法规和平台规定，避免非法用途。技术上，可选择 Selenium 和 Requests 库，处理反爬措施如 IP 限制、验证码识别和请求频率控制。解析页面数据时，确定数据位置并清洗格式。数据存储可选择 CSV、Excel、JSON 或数据库，定期更新并去重。还需进行错误处理和日志记录，确保爬虫稳定运行。
爱专研的技术土狗
48 2
爱专研的技术土狗
|
28天前
|
数据采集 Web App开发 iOS开发
如何利用 Python 的爬虫技术获取淘宝天猫商品的价格信息？
本文介绍了使用 Python 爬虫技术获取淘宝天猫商品价格信息的两种方法。方法一使用 Selenium 模拟浏览器操作，通过定位页面元素获取价格；方法二使用 Requests 和正则表达式直接请求页面内容并提取价格。每种方法都有详细步骤和代码示例，但需注意反爬措施和法律法规。
爱专研的技术土狗
105 1
bruce刘晓伟-18435
|
2月前
|
小程序 Python
利用Python编程提取身份证的信息
利用Python编程提取身份证的信息
bruce刘晓伟-18435
27 2
bruce刘晓伟-18435
|
2月前
|
IDE 开发工具 数据安全/隐私保护
Python编程--实现用户注册信息写入excel文件
Python编程--实现用户注册信息写入excel文件
bruce刘晓伟-18435
21 1
古明地盆
|
2月前
|
Python
用 Python 读取照片的 Exif 信息（顺便说说本人的一些想法）
用 Python 读取照片的 Exif 信息（顺便说说本人的一些想法）
古明地盆
73 2
bruce刘晓伟-18435
|
3月前
|
Python
Python量化炒股的数据信息获取—获取上市公司分红送股数据信息
Python量化炒股的数据信息获取—获取上市公司分红送股数据信息
bruce刘晓伟-18435
51 3
LKIDTI数据
|
2月前
|
Python
Python实现系统基础信息
Python实现系统基础信息
LKIDTI数据
33 0
bruce刘晓伟-18435
|
3月前
|
Python
Python量化炒股的数据信息获取— 获取上市公司股东和股本信息
Python量化炒股的数据信息获取— 获取上市公司股东和股本信息
bruce刘晓伟-18435
66 0

热门文章

最新文章

  • 1
    手把手教你用Python实践深度学习
  • 2
    3、Python与设计模式--建造者模式
  • 3
    一文弄懂CNN及图像识别(Python)
  • 4
    帅到爆炸！使用管道 Pipe 编写 Python 代码竟如此简洁
  • 5
    Python3使用RSA分段加密解密
  • 6
    8.python之上下文管理协议
  • 7
    python目录操作一
  • 8
    Python网络编程1--笔记
  • 9
    Python——装饰器（两种不同的使用场景）
  • 10
    [Spark][Python]Spark Python 索引页
  • 1
    探索Python中的并发编程：协程与多线程的比较
    84
  • 2
    LabVIEW和Python开发微细车削控制系统
    56
  • 3
    在Python中，利用`os模块`的`path.exists()`函数可判断文件是否存
    250
  • 4
    Python Web开发主要常用的框架
    202
  • 5
    使用 Python 访问数据库的基本方法
    64
  • 6
    在Python Web开发中，测试是一个至关重要的环节
    175
  • 7
    Playwright安装与Python集成：探索跨浏览器测试的奇妙世界
    133
  • 8
    神器！使用Python 轻松识别验证码
    1068
  • 9
    Python内存管理与垃圾回收机制
    65
  • 10
    【Python进阶（七）】——Series数据结构
    167

    • 相关课程

    更多
  • Python爬虫实战
  • Python开发基础入门
  • Python常用数据科学库
  • Python网络爬虫实战
  • Python完全自学手册图文教程
  • Python基础快速入门实战教程

    • 相关电子书

    更多
  • From Python Scikit-Learn to Sc
  • Data Pre-Processing in Python:
  • 双剑合璧-Python和大数据计算平台的结合

    • 相关实验场景

    更多
  • 用Python画圣诞树
  • Python选择及循环结构
  • 云端Python及基本操作
  • Python网络通信程序典型应用
  • Python新手入门（Anolis OS）
  • Python新手入门

    • 推荐镜像

    更多
  • python-release
  • nodejs-release
  • golang
    • 下一篇
    阿里云无影云电脑免费试用，最长可试用3个月