---从单机验证到集群化落地

为什么要做这个项目（背景与动机）

在公司做数据产品时，我们常常遇到三个痛点：脚本跑不稳、页面渲染抓不到数据、以及规模化后调度和重试逻辑变得难以维护。最开始通常是一两个 Python 脚本在开发机上跑通，但到了生产环境，问题就会接踵而来：单机负载、被目标站点限速、以及不同页面结构带来的脆弱性。
本项目的目标是把一个可验证的单机 Playwright 爬虫，逐步演进成能在多台机器上并行工作的集群化方案，并把关键实现、思路与示例代码记录下来，方便求职/展示或直接在企业内复用。

我们要拿到什么数据（数据目标）

本文以招聘网站为示例，目标字段很常见也很实用，便于后续做分析：

• 职位名称（title）
• 公司名（company）
• 城市 / 工作地点（city）
• 薪资（salary）
• 发布时间（publish_time）

这些字段既能做趋势分析，也能用于构建岗位搜索引擎或行业报告。

技术栈与选型理由（为什么选 Playwright）

• Playwright：相比传统的 requests，它能原生处理 JS 渲染、等待节点、拦截资源等，稳定性和可控性更好。
• 代理 IP（示例：亿牛云）：高频访问需要代理来分摊流量并降低被限制的概率。
• Redis（任务队列） + 多进程/多机器：用于实现任务分发、去重与伸缩。
• MongoDB / Elasticsearch：分别用于原始数据落盘和后续的检索/分析/可视化。

这种组合能在保证可维护性的同时兼顾扩展与性能。

核心实现（从单机到分布式的演进）

1）单机版：先把逻辑跑通

这是最直接的版本，用来确认页面结构、JS 渲染及提取逻辑是否稳健。代码示例（异步 Playwright）：

# single_playwright.py
import asyncio
from playwright.async_api import async_playwright

# ====== 代理配置（示例：亿牛云） ======
proxy_host = "proxy.16yun.cn"
proxy_port = "3100"
proxy_user = "16YUN"
proxy_pass = "16IP"

async def crawl_page(keyword: str, page_num: int = 1):
    """
    单页抓取示例函数：访问并解析职位卡片，返回字典列表
    """
    async with async_playwright() as pw:
        # 启动浏览器（无头/有头可根据调试需要切换）
        browser = await pw.chromium.launch(headless=True,
                                           proxy={
   
                                               "server": f"http://{proxy_host}:{proxy_port}",
                                               "username": proxy_user,
                                               "password": proxy_pass
                                           })
        page = await browser.new_page()
        url = f"https://example-job-site.com/search?kw={keyword}&p={page_num}"
        await page.goto(url, timeout=30000)
        # 等待职位列表出现（根据实际页面调整选择器）
        await page.wait_for_selector('.job-card', timeout=15000)

        cards = await page.query_selector_all('.job-card')
        results = []
        for c in cards:
            # 下面的选择器只是示例，实际按目标站点调整
            title = await c.query_selector_eval('.job-title', 'el => el.textContent.trim()')
            company = await c.query_selector_eval('.company', 'el => el.textContent.trim()')
            salary = await c.query_selector_eval('.salary', 'el => el.textContent.trim()')
            city = await c.query_selector_eval('.city', 'el => el.textContent.trim()')
            results.append({
   
                "title": title,
                "company": company,
                "salary": salary,
                "city": city
            })

        await browser.close()
        return results

if __name__ == "__main__":
    rows = asyncio.run(crawl_page("Python 爬虫", page_num=1))
    for r in rows:
        print(r)

说明：先把单页、单关键词跑通，再处理翻页、异常与重试逻辑。单机阶段以稳定为先，别急着并发。

2）改造为可并发的单机版本（充分利用单机资源）

当单页逻辑稳定后，我们会把单页函数包装成任务池，利用 asyncio 并发多个标签页（或多个浏览器实例）来提高吞吐。示例要点：

• 限制并发并设置合理的超时
• 处理网络异常与元素不存在的情况（捕获并重试）
• 记录日志与关键指标（成功率、耗时）

（此处略去并发包装的完整代码，实际项目中可用 asyncio.Semaphore 控制并发数。）

3）走向分布式：Redis 作任务队列（生产者 / 消费者模型）

把任务放到 Redis 列表或流（stream）里，多台机器从队列里取任务并执行。示例消费端伪代码：

# worker.py (伪代码，需加异常处理与日志)
import asyncio
import aioredis
from single_playwright import crawl_page  # 引入前面实现的单页函数

REDIS_URL = "redis://127.0.0.1:6379/0"
TASK_QUEUE = "job_tasks"

async def worker_loop():
    redis = await aioredis.from_url(REDIS_URL)
    while True:
        task = await redis.lpop(TASK_QUEUE)
        if not task:
            await asyncio.sleep(1)
            continue
        # 假设任务是 JSON 字符串，包含 keyword 和 page_num
        task = task.decode("utf-8")
        # 这里简单演示，生产环境请解析 JSON 并做失败重试、幂等处理
        keyword = task
        print("取到任务：", keyword)
        results = await crawl_page(keyword)
        # 结果入库／发送到下游（例如 MongoDB/Elasticsearch）
        # save_results(results)

关键点：

• 任务应包含去重标识（比如 URL 哈希或唯一 ID）以避免重复抓取
• 设计任务超时与重试策略（比如 N 次重试后写入失败队列由人工检查）
• 监控队列深度、消费速率以判断是否需要扩容

运营与工程化要点（实用经验）

• 代理策略：不要把所有流量都打到一个代理 IP，建议轮换或使用多个出口；对静态资源设置拦截，减少不必要带宽消耗。
• 资源拦截：Playwright 支持 route.abort() 拦截图片、视频、广告等资源，显著减轻网络压力。
• 健康检查：为每个爬虫进程加上心跳上报（Prometheus / Pushgateway）便于发现挂死或慢速任务。
• 错误收集：记录页面快照（在非敏感场景），异常堆栈与请求/响应，便于定位问题。
• 容器化：把爬虫打包为 Docker 镜像，用 Kubernetes 编排能显著简化部署与弹性伸缩。
• 数据质量控制：入库前做字段校验、去重与时间窗口过滤，避免脏数据污染分析维度。

数据落盘与可视化（展示成就）

落库示例（MongoDB 文档结构）：

{
   
  "title": "Python 爬虫工程师",
  "company": "某某科技",
  "salary": "20k-35k",
  "city": "上海",
  "publish_time": "2025-09-01",
  "source": "example-job-site",
  "crawl_at": "2025-09-23T10:00:00"
}

落库后可以做的展示（列举思路）：

• 城市分布热力图（Kibana / Superset）
• 薪资区间柱状图（按岗位/城市分组）
• 岗位关键词云（用于挖掘热门技能）
• 时间序列分析（岗位量随时间变化）

这些可视化既能作为产品端仪表盘，也可以作为简历/作品集中突出的数据展示部分。