爬虫实战——拉勾网

简介: 闲来无事,想看看拉勾上关于的Python的招聘信息于是。。。爬下来呗话不多说,直接开始不对,首先还是说一下主要使用到的技术栈,这里我没有使用requests库,而是使用selenium爬的why ?我喜欢呗~seleniu...

闲来无事,想看看拉勾上关于的Python的招聘信息

于是。。。爬下来呗

  • 话不多说,直接开始

不对,首先还是说一下主要使用到的技术栈,这里我没有使用requests库,而是使用selenium爬的

  • why ?

我喜欢呗~

  • selenium爬虫原理

其实原理也没啥好说的,和平时爬虫的时候原理都是一样的,就是模拟浏览器上网呗

  • 分析:

其实,拉勾网是非常好爬的,首先进入拉勾网(www.lagou.com),并搜索python 回车

img_abe20ea0fd767b65863c1f15094a6e0f.png
拉勾网搜索python
img_26e92a43f6929ef3694201b30a904993.png
拉勾网搜索python

为什么说拉勾网好爬,原因之一在图中我已经标注出来了,就是不需要登录,原因之二请见下文

在chrome浏览器按f12,查看网页源码

img_d496a05aa7a4447588ca5175e35359eb.png
浏览器查看F12

此时会发现,Network下什么都没有,那是因为没有请求,此时,需要再此刷新页面,就会有了

img_698445adf51dbec6b148714cdc57ab5b.png
Network

注意此时,我们选择箭头所指的位置,这里的数据是通过ajax发送过来的,这里就说一下,拉勾网容易爬的原因之二,因为所有的数据在ajax里都能找到,只需要爬去这里的json数据就行了,但是我没有这样做,因为不屑于(装)这么爬(B),开头就说了这次爬虫使用的是selenium,所以需要分析网页的html。因此,这里的数据不是重点,我们看网页

img_ea9cf0e1ef0c28b3d246b9d98d4a4c7b.png
Elements

点击Elements,查看网页源码,再点击左上角的小箭头(我标注的红色小箭头)所指的按钮,再选中网页中的元素,即可快速定位到该元素所在的源码位置,到此时,其实我们已经找到想爬数据的所在位置了,在代码中使用selenium自带的xpath解析出来就可以了,接下来就是代码实现了

  • 话不多说直接上源码:
import json
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time


class Lagou(object):
    def __init__(self, search_name):
        self.start_url = "https://www.lagou.com/jobs/list_{}?px=default&city=%E5%8C%97%E4%BA%AC#filterBox"
        self.search_name = search_name
        self.chrome_options = Options()
        self.chrome_options.add_argument('--headless')
        self.driver = webdriver.Chrome(chrome_options=self.chrome_options)
        self.content_header = ["positionName", "businessZones", "CreateTime", "companyShortName", "salary", "workYear"]

    def get_content_list(self):  # 提取数据
        li_list = self.driver.find_elements_by_xpath('//li[contains(@class, "con_list_item")]')
        content_list = []
        for li in li_list:
            item_list = []
            item_list.append(li.find_element_by_tag_name("h3").text)
            item_list.append(li.find_element_by_tag_name("em").text)
            item_list.append(li.find_elements_by_xpath(".//span[@class='format-time']")[0].text)
            item_list.append(li.find_elements_by_xpath(".//div[@class='company_name']")[0].text)
            item_list.append(li.find_elements_by_xpath(".//span[@class='money']")[0].text)
            item_list.append(li.find_elements_by_xpath(".//div[@class='li_b_l']")[0].text)

            # print(item_list)
            content_list.append(item_list)

        # 下一页
        next_url = self.driver.find_elements_by_xpath("//span[@class='pager_next ']")
        next_url = next_url[0] if len(next_url) > 0 else None
        return content_list, next_url

    def save_content_list(self, content_list):
        with open(self.search_name + "_data.csv", "a", encoding='utf-8') as f:
            for content in content_list:
                print(content)
                for item in content:
                    if isinstance(item, str):
                        if ',' in item:
                            item.replace(",", "|")
                    f.write(item + ",")
                f.write('\n')

    def run(self):
        # 发送请求
        self.driver.get(self.start_url.format(self.search_name))

        # 提取数据
        content_list, next_url = self.get_content_list()

        # 保存数据
        self.save_content_list(content_list)

        # 翻页
        while next_url is not None:
            next_url.click()
            time.sleep(6)
            content_list, next_url = self.get_content_list()
            self.save_content_list(content_list)


if __name__ == '__main__':
    lagou = Lagou("python")
    lagou.run()
    # 翻页

因为大多数时候,我们爬数据都是有目的的,在这里,我将数据转化成了csv格式保存的,只需要按需修改即可啦。

源码中,是将爬去下来的数据保存在文件中,这个文件被保存在当前的项目路径下,亦可按需修改

另外,我在最后又将源码进行修改,通过分析网页的url,发现搜索关键词可以在url中修改,因此这里使用了format将其扣出,只需要在实例化对象的时候,传入想搜索的关键词即可爬取到相关的职位

写在最后:

通过这次爬虫,虽然很慢。但是不得不承认,selenium更像是在模拟人真实的操作浏览器查看网页,因此此种方法不易被反爬虫发现,但是是真的慢(用requests爬去json数据,450条同样的数据大概只需要30秒,而我用这种方案足足花了5分钟)

另外,selenium还有很多其他玩法,感兴趣的朋友,不妨开发脑洞,玩一下

好吧,暂时就说这么多,有空再聊,peace~


微信公众号:TechBoard
个人博客:www.limiao.tech

目录
相关文章
|
30天前
|
数据采集 JSON Java
Java爬虫获取1688店铺所有商品接口数据实战指南
本文介绍如何使用Java爬虫技术高效获取1688店铺商品信息,涵盖环境搭建、API调用、签名生成及数据抓取全流程,并附完整代码示例,助力市场分析与选品决策。
|
1月前
|
数据采集 数据挖掘 测试技术
Go与Python爬虫实战对比:从开发效率到性能瓶颈的深度解析
本文对比了Python与Go在爬虫开发中的特点。Python凭借Scrapy等框架在开发效率和易用性上占优,适合快速开发与中小型项目;而Go凭借高并发和高性能优势,适用于大规模、长期运行的爬虫服务。文章通过代码示例和性能测试,分析了两者在并发能力、错误处理、部署维护等方面的差异,并探讨了未来融合发展的趋势。
135 0
|
2天前
|
数据采集 Web App开发 机器学习/深度学习
Selenium爬虫部署七大常见错误及修复方案:从踩坑到避坑的实战指南
本文揭秘Selenium爬虫常见“翻车”原因,涵盖浏览器闪退、元素定位失败、版本冲突、验证码识别等七大高频问题,结合实战案例与解决方案,助你打造稳定高效的自动化爬虫系统,实现从“能用”到“好用”的跨越。
56 0
|
6月前
|
数据采集 存储 数据可视化
分布式爬虫框架Scrapy-Redis实战指南
本文介绍如何使用Scrapy-Redis构建分布式爬虫系统,采集携程平台上热门城市的酒店价格与评价信息。通过代理IP、Cookie和User-Agent设置规避反爬策略,实现高效数据抓取。结合价格动态趋势分析,助力酒店业优化市场策略、提升服务质量。技术架构涵盖Scrapy-Redis核心调度、代理中间件及数据解析存储,提供完整的技术路线图与代码示例。
592 0
分布式爬虫框架Scrapy-Redis实战指南
|
30天前
|
数据采集 存储 Rust
Rust爬虫实战:用reqwest+select打造高效网页抓取工具
在数据驱动时代,本文详解如何用Rust构建高效稳定爬虫系统。基于reqwest与select库,以books.toscrape.com为例,演示HTTP请求、HTML解析、分页抓取及数据存储全流程,涵盖同步与异步实现、反爬应对及性能优化,助你掌握Rust爬虫开发核心技能。
76 2
|
1月前
|
数据采集 存储 Web App开发
Python爬虫库性能与选型实战指南:从需求到落地的全链路解析
本文深入解析Python爬虫库的性能与选型策略,涵盖需求分析、技术评估与实战案例,助你构建高效稳定的数据采集系统。
242 0
|
1月前
|
数据采集 存储 XML
Python爬虫XPath实战:电商商品ID的精准抓取策略
Python爬虫XPath实战:电商商品ID的精准抓取策略
|
2月前
|
数据采集 存储 监控
Python爬虫实战:批量下载亚马逊商品图片
Python爬虫实战:批量下载亚马逊商品图片
|
2月前
|
数据采集 监控 网络协议
基于aiohttp的高并发爬虫实战:从原理到代码的完整指南
在数据驱动时代,传统同步爬虫效率低下,而基于Python的aiohttp库可构建高并发异步爬虫。本文通过实战案例解析aiohttp的核心组件与优化策略,包括信号量控制、连接池复用、异常处理等,并探讨代理集成、分布式架构及反爬应对方案,助你打造高性能、稳定可靠的网络爬虫系统。
171 0
|
2月前
|
数据采集 机器学习/深度学习 边缘计算
Python爬虫动态IP代理报错全解析:从问题定位到实战优化
本文详解爬虫代理设置常见报错场景及解决方案,涵盖IP失效、403封禁、性能瓶颈等问题,提供动态IP代理的12种核心处理方案及完整代码实现,助力提升爬虫系统稳定性。
170 0

热门文章

最新文章