实战案例:采集 51job 企业招聘信息

简介: 本文基于Feapder框架,从零开始搭建企业级招聘信息爬虫管道。内容涵盖基础概念(数据管道与Feapder特点)、生动比喻(快递系统类比爬虫流程)、技术场景(代理IP、Cookie管理)及实战案例(采集51job岗位信息并分类存储)。通过完整代码示例,展示如何配置代理、自定义中间件及Pipeline。无论产品经理还是学生,均可轻松上手,构建高效稳定的爬虫系统。

爬虫代理

本文将带你从零开始,借助 Feapder 快速搭建一个企业级招聘信息数据管道。在“基础概念”部分,我们先了解什么是数据管道和 Feapder;“生动比喻”用日常场景帮助你快速理解爬虫组件;“技术场景”介绍本项目中如何使用代理等采集策略;“实战案例”通过完整代码演示采集 51job 招聘信息并分类存储;最后在“扩展阅读”推荐一些进一步学习的资源。无论你是非技术背景的产品经理,还是校园里的同学,都能轻松上手,快速构建自己的企业级爬虫管道。

一、基础概念

1. 什么是数据管道?

  • 数据管道(Data Pipeline)指的是从数据源(如网页、API)到数据仓库(如数据库、文件)的整个流转过程,通常包括数据获取、清洗、存储和监控。
  • 在企业级场景下,管道需要稳定可靠、易于扩展,并支持重试、分布式、监控告警等能力。

2. 为什么选 Feapder?

  • 轻量易用:基于 Scrapy 设计理念,但更贴合现代 Python 开发习惯。
  • 分布式支持:内置分布式队列和调度,水平扩展无压力。
  • 插件丰富:支持自定义中间件、Pipeline,持久化、监控简单接入。
  • 示例生态:官方及社区提供多种行业示例,快速上手。

二、生动比喻

想象你要送快递:

  1. 分拣中心:接收并整理包裹(任务调度)
  2. 配送员:拿着包裹去各个地址(爬虫 Worker)
  3. 快递柜:存放收集好的包裹(Pipeline 存储)
  4. 后台系统:监控每个包裹的状态(监控告警)

Feapder 就是整个快递系统的“物流总控”,帮你把每个环节串起来,保证数据顺利、稳定地流转到最终存储。

三、技术场景

在企业级爬虫中,我们常常会遇到以下需求:

1. 使用代理 IP

  • 提升并发时避免 IP 限流和封禁
  • 引入爬虫代理:
# 亿牛云爬虫代理示例 www.16yun.cn
域名: proxy.16yun.cn 
端口: 12345  
用户名: 16YUN  
密码: 16IP

2. 设置 Cookie 和 User-Agent

  • Cookie:保持登录态或跑通多页
  • User-Agent:模拟浏览器请求,降低反爬几率

Feapder 支持在中间件中统一管理这些参数,代码简洁、易维护。

四、实战案例:采集 51job 企业招聘信息

下面我们以 https://www.51job.com 为例,演示如何用 Feapder 搭建完整的爬虫管道,采集岗位名称、职位信息、工作地址、薪资待遇,并分类存储到本地 JSON 文件。

1. 环境准备

# 安装 Feapder 及依赖
pip install feapder requests

2. 项目结构

feapder_job_pipeline/
├── spider.py         # 主爬虫脚本
├── settings.py       # 配置文件
└── pipelines.py      # 数据存储模块

3. 配置文件 settings.py

# settings.py

# ---------- 分布式及队列配置(可选) ----------
# REDIS_HOST = "127.0.0.1"
# REDIS_PORT = 6379
# REDIS_PASSWORD = None

# ---------- 代理设置 亿牛云代理示例 www.16yun.cn------
PROXY = {
   
    "domain": "proxy.16yun.cn", # 亿牛云代理域名
    "port": 8100,             # 代理端口
    "username": "16YUN",     # 代理用户名
    "password": "16IP",     # 代理密码
}

# ---------- 中间件配置 ----------
DOWNLOADER_MIDDLEWARES = {
   
    # 自定义代理中间件
    "middlewares.ProxyMiddleware": 500,
    # Feapder 默认 UserAgent 中间件
    # "feapder.downloadermiddleware.useragent.UserAgentMiddleware": 400,
}

# ---------- Pipeline 配置 ----------
ITEM_PIPELINES = {
   
    "pipelines.JsonPipeline": 300,
}

4. 自定义中间件 middlewares.py

# middlewares.py
import base64
from feapder import Request

class ProxyMiddleware:
    """通过亿牛云代理发送请求的中间件"""

    def process_request(self, request: Request):
        # 构造代理认证字符串
        auth_str = f"{request.setting.PROXY['username']}:{request.setting.PROXY['password']}"
        b64_auth = base64.b64encode(auth_str.encode()).decode()

        # 设置 request.meta 中的 proxy
        request.request_kwargs.setdefault("proxies", {
   
            "http": f"http://{request.setting.PROXY['domain']}:{request.setting.PROXY['port']}",
            "https": f"http://{request.setting.PROXY['domain']}:{request.setting.PROXY['port']}"
        })
        # 注入 Proxy-Authorization 头
        request.request_kwargs.setdefault("headers", {
   })["Proxy-Authorization"] = f"Basic {b64_auth}"
        return request

5. 数据存储 pipelines.py

# pipelines.py
import json
import os
from feapder import Item

class JobItem(Item):
    """定义岗位信息结构"""
    def __init__(self):
        self.position = None
        self.company = None
        self.location = None
        self.salary = None

class JsonPipeline:
    """将数据按照公司分类存储到 JSON 文件"""

    def open_spider(self, spider):
        # 创建存储目录
        self.base_path = spider.setting.get("DATA_PATH", "./data")
        os.makedirs(self.base_path, exist_ok=True)

    def process_item(self, item: JobItem, spider):
        # 按公司名称分类存储
        company = item.company or "unknown"
        file_path = os.path.join(self.base_path, f"{company}.json")

        # 追加写入
        with open(file_path, "a", encoding="utf-8") as f:
            f.write(json.dumps(dict(item), ensure_ascii=False) + "\n")

        return item

6. 爬虫脚本 spider.py

# spider.py
from feapder import Spider, Request
from pipelines import JobItem
import random

class JobSpider(Spider):
    """
    Feapder 爬虫:采集 51job 企业招聘信息
    """
    def start_requests(self):
        # 入口 URL,搜索“Python 开发”岗位
        url = "https://search.51job.com/list/000000,000000,0000,00,9,99,Python开发,2,1.html"
        yield Request(url, callback=self.parse_list)

    def parse_list(self, request, response):
        # 解析列表页中的每个岗位链接
        for job in response.xpath("//div[@class='el']/p[@class='t1']/span/a"):
            job_url = job.xpath("./@href").extract_first()
            yield Request(job_url, callback=self.parse_detail)

        # 分页(示例:最多采集前 5 页)
        if int(request.url.split(",")[-1].split(".")[0]) < 5:
            next_page = int(request.url.split(",")[-1].split(".")[0]) + 1
            next_url = request.url.replace(f",{int(request.url.split(',')[-1].split('.')[0])}.html", f",{next_page}.html")
            yield Request(next_url, callback=self.parse_list)

    def parse_detail(self, request, response):
        """解析岗位详情页"""
        item = JobItem()
        item.position = response.xpath("//h1/text()").extract_first().strip()     # 岗位名称
        item.company = response.xpath("//a[@class='catn']/text()").extract_first().strip()  # 公司名称
        item.location = response.xpath("//span[@class='lname']/text()").extract_first().strip()  # 工作地点
        item.salary = response.xpath("//span[@class='salary']/text()").extract_first().strip()   # 薪资待遇
        yield item

    def download_midware(self, request):
        """
        在请求中注入 Cookie 与 User-Agent
        """
        headers = {
   
            # 随机选择常见浏览器 UA
            "User-Agent": random.choice([
                "Mozilla/5.0 (Windows NT 10.0; Win64; x64)...",
                "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)..."
            ]),
            # 示例 Cookie,可根据需要替换
            "Cookie": "your_cookie_string_here"
        }
        request.request_kwargs.setdefault("headers", {
   }).update(headers)
        return request

if __name__ == "__main__":
    JobSpider(**{
   
        "project_name": "feapder_job_pipeline",
        # 可选:指定本地分布式队列
        # "redis_key": "job_spider_requests",
        # "processes": 4,
    }).start()

7. 运行与结果

python spider.py
  • 运行后,./data/ 目录下会出现以公司名命名的 JSON 文件,每行一条岗位信息。

五、扩展阅读

  • Feapder 官方文档:https://feapder.com/
  • Scrapy 官方文档(原理参考):https://docs.scrapy.org/
  • 爬虫代理使用指引:登录亿牛云官网查看“文档中心”
  • 同类案例:使用 Playwright 架构多语言爬虫(可对比)

通过本文演示,你已经掌握了如何用 Feapder 快速构建一个带有代理、Cookie、User-Agent 的企业级爬虫管道,并能将数据分类存储。接下来可以尝试接入数据库、监控告警,或将爬虫部署到 Kubernetes 集群,打造真正的生产级数据管道。

相关文章
|
9月前
|
人工智能 运维 Prometheus
2026年阿里云及本地安装OpenClaw步骤:+定制24小时在线专属 AIOps 助手实战教程
2026年,OpenClaw(原Clawdbot、Moltbot)的核心竞争力已从“通用自动化”升级为“垂直领域深度定制”。它不再是简单的AI助手,而是可通过对话交互自主进化的“领域专家”——无需编写代码或复杂规则,仅通过一问一答,就能将其定制为专注K8s微服务的AIOps助手,实现故障RCA、排障剧本固化、复盘沉淀等专业能力。
1155 3
|
3月前
|
人工智能 编解码 JSON
ComfyUI 实现 AI 漫剧工业化生产:解决角色一致性与时序画质问题
本文提供8G显存笔记本可运行的AI漫剧本地化量产方案,直击角色漂移、帧间闪烁、线条软化、流程零散四大痛点,涵盖IP-Adapter人设锁定、时序稳色、二次元超分、FFmpeg批量压制等完整链路,附可直接运行代码与网盘资源。
|
5月前
|
人工智能 监控 安全
QoderWake:会上岗、有记忆、能进化的生产级 AI 数字员工
QoderWake是阿里推出的生产级数字员工平台,非聊天机器人,而是能7×24自主值守、承担真实岗位职责的“虚拟同事”。已上线数字程序员等6+专岗,Harness-First架构支持五维自进化,安全可控、一键部署、分钟上岗。
QoderWake:会上岗、有记忆、能进化的生产级 AI 数字员工
|
自然语言处理 API 数据库
2025年大模型就业:核心技术趋势、技能要求与职业发展全景解析
随着大语言模型(Large Language Models, LLMs)的技术飞速迭代,人工智能领域正经历从通用对话工具向高度智能化、任务导向的智能体(Agent)系统的深刻转型。到2025年4月,企业对掌握LLM相关技术的专业人才需求持续高涨,核心能力聚焦于检索增强生成(RAG)、智能体任务自动化、模型对齐优化以及多模态融合。本文将全面剖析2025年大模型就业市场的技术演进路径、核心技能要求、行业应用场景、推荐实践项目以及职业发展建议,旨在为从业者提供详尽的职业规划指南,帮助其精准把握行业机遇。
3389 6
|
7月前
|
机器学习/深度学习 弹性计算 人工智能
开源视频生成模型HappyHorse 1.0:基于阿里云 ECS 的部署指南与物理引擎基准测试
本文介绍在阿里云ECS(A10显卡)上部署开源AI视频模型HappyHorse 1.0的全流程:从Ubuntu环境配置、PyTorch+Diffusers依赖安装,到启用xFormers与CPU卸载的Python推理实践,并开展物理连贯性与语义遵循度的基准测试,助力开发者摆脱SaaS黑盒依赖。(239字)
1876 0
|
10月前
|
数据采集 人工智能 自然语言处理
开源大模型微调对比:选对模型,让定制化更高效
本文对比Llama 3、Qwen2.5、Mistral三款开源大模型在中文场景下的微调表现,从算力门槛、数据效率、任务适配性等维度分析,结合实战案例与主观评估,为开发者提供选型建议,助力高效构建定制化AI模型。
|
人工智能 算法 调度
多智能体协作平台(MCP)实现多供应商AI生态系统中的互操作性
在现代人工智能(AI)领域,智能体的互操作性是实现系统协同的关键要素。随着多个供应商提供不同的智能体产品,如何在复杂的生态系统中构建互操作性的基础设施变得尤为重要。本文将探讨如何构建一个支持多供应商智能体互操作性的生态体系,重点讨论多供应商环境中的MCP(Multi-Agent Collaborative Platform)架构,解决不同智能体之间的协作与资源共享问题。
多智能体协作平台(MCP)实现多供应商AI生态系统中的互操作性
|
SQL 存储 分布式计算
Hive学习---5、分区表和分桶表
Hive学习---5、分区表和分桶表
|
存储 数据采集 大数据
Python推导式进阶指南:优雅初始化序列的科学与艺术
本文系统讲解Python推导式的用法与技巧,涵盖列表、字典、集合推导式及生成器表达式。通过代码示例和性能对比,展示推导式在数据结构初始化中的优势:简洁高效、执行速度快30%-50%。文章分析基础语法、核心应用场景(如序列构造、键值对转换、去重运算)及嵌套使用,并探讨使用边界与最佳实践,强调可读性优先原则。最后指出,合理运用推导式能显著提升代码质量和处理效率,同时避免过度复杂化的陷阱。
522 0
|
机器学习/深度学习 人工智能 自然语言处理
大模型的特点、重要概念及工作方式详解
大模型是具有大量参数和复杂结构的深度学习模型,通过处理大量数据实现高效任务解决。其特点包括参数规模庞大、深层网络结构、预训练与微调、多任务学习和自适应能力。重要概念有注意力机制、Transformer架构、迁移学习和分布式训练。大模型的工作方式包括输入处理、特征提取、预测与损失计算、反向传播与优化,以及评估与微调。这些特性使其在自然语言处理、计算机视觉等领域取得显著进展。
5804 0