免费编程软件「python+pycharm」
链接：https://pan.quark.cn/s/48a86be2fdc0
引言：为什么爬虫需要Redis？
传统爬虫开发中，URL去重和任务队列管理是两大难题。用Python列表或数据库存储URL，当数据量超过百万级时，内存占用爆炸、查询效率骤降的问题接踵而至。而Redis作为内存数据库，凭借其高效的哈希表和列表结构，能轻松处理千万级URL的存储与快速检索，成为爬虫工程师的“瑞士军刀”。
本文将以实战为导向，拆解Redis在爬虫中的两大核心应用场景：URL去重与任务队列管理，用代码片段和场景化案例说明实现逻辑，最后附上常见问题解决方案。
一、URL去重：用SET还是BloomFilter？
场景痛点
爬虫抓取时，同一个URL可能被不同页面引用多次，若不进行去重，会导致重复请求、浪费资源，甚至触发反爬机制。
方案1：Redis SET（精确去重）
原理：Redis的SET类型是无序不重复的字符串集合，支持O(1)时间复杂度的成员查询。
实现步骤：
爬取到URL后，先检查是否存在于SET中
若不存在，则加入SET并放入待抓取队列
若存在，则丢弃
代码示例：
import redis
r = redis.Redis(host='localhost', port=6379, db=0)
def is_url_exist(url):
return r.sismember('crawler:urls', url)
def add_url(url):
r.sadd('crawler:urls', url)
使用示例
url = "https://example.com"
if not is_url_exist(url):
add_url(url)
# 加入待抓取队列（后续章节介绍）
适用场景：
对去重精度要求高（100%准确）
URL总量在千万级以内（SET存储每个URL约50字节）
缺点：
内存占用随URL数量线性增长，亿级URL时可能达到GB级别
方案2：BloomFilter（概率去重）
原理：布隆过滤器通过多个哈希函数将URL映射到位数组，以极低的误判率（可配置）判断URL是否可能存在。
Redis实现方式：
使用RedisBloom模块（需单独安装）
或通过Python的pybloomfiltermmap库生成布隆过滤器后序列化到Redis
代码示例（需安装RedisBloom）：
初始化布隆过滤器（误判率1%，容量1亿）
r.execute_command('BF.RESERVE', 'crawler:bloom', 0.01, 100000000)
def may_exist(url):
return bool(r.execute_command('BF.EXISTS', 'crawler:bloom', url))
def add_to_bloom(url):
r.execute_command('BF.ADD', 'crawler:bloom', url)
使用示例
url = "https://example.com"
if not may_exist(url):
add_to_bloom(url)
# 进一步用SET精确验证（可选）
适用场景：
URL总量过亿，内存敏感
允许极低概率的重复（如0.1%误判率）
选择建议：
中小型爬虫（百万级URL）：直接用SET
大型分布式爬虫（亿级URL）：BloomFilter + SET双层验证
二、任务队列管理：LPUSH/RPOP还是BRPOP？
场景痛点
爬虫需要管理待抓取URL队列、已抓取待解析队列、错误重试队列等，传统数据库的POP操作效率低，且无法实现多进程/线程的高效协作。
方案1：List + RPOP（简单队列）
原理：Redis的LIST类型支持LPUSH（左插入）和RPOP（右弹出），实现FIFO队列。
实现步骤：
生产者用LPUSH将URL加入队列头部
消费者用RPOP从队列尾部取出URL
代码示例：
def enqueue_url(url):
r.lpush('crawler:queue', url)
def dequeue_url():
return r.rpop('crawler:queue')
多消费者示例
while True:
url = dequeue_url()
if url:
print(f"Processing: {url.decode('utf-8')}")
缺点：
空队列时消费者会立即返回None，需要额外处理
高并发下可能出现重复消费（可通过Lua脚本解决）
方案2：BRPOP（阻塞队列）
原理：BRPOP在队列为空时阻塞等待，直到有新元素加入，避免轮询消耗CPU。
代码示例：
def worker():
while True:
# 阻塞等待，超时时间0表示无限等待
_, url = r.brpop('crawler:queue', timeout=0)
print(f"Processing: {url.decode('utf-8')}")
启动多个worker
import threading
for _ in range(4):
threading.Thread(target=worker).start()
优势：
天然支持多消费者并发
减少无效轮询
方案3：优先级队列（ZSET）
场景：需要优先处理某些URL（如首页、更新频繁的页面）。
实现：用ZSET（有序集合），score表示优先级，数值越小优先级越高。
代码示例：
def enqueue_priority(url, priority=0):
r.zadd('crawler:priority_queue', {url: priority})
def dequeue_priority():
# 获取并删除score最小的元素
result = r.zrange('crawler:priority_queue', 0, 0)
if result:
url = result[0].decode('utf-8')
r.zrem('crawler:priority_queue', url)
return url
或使用ZPOPMIN（Redis 5.0+）
def dequeue_priority_modern():
return r.execute_command('ZPOPMIN', 'crawler:priority_queue')
三、分布式爬虫的Redis实践
场景：多机器协作抓取
当爬虫部署在多台服务器上时，需要共享URL去重集合和任务队列。
关键设计：
全局唯一键名：在键名中加入环境标识，如prod:crawler:urls
连接池管理：每台机器维护独立的Redis连接池，避免频繁创建连接
原子操作：使用Lua脚本保证去重+入队的原子性
Lua脚本示例（保证SET添加和队列入队的原子性）：
-- add_and_enqueue.lua
local url = KEYS[1]
local queue_key = KEYS[2]
if redis.call('SISMMEMBER', 'crawler:urls', url) == 0 then
redis.call('SADD', 'crawler:urls', url)
redis.call('LPUSH', queue_key, url)
return 1
else
return 0
end
Python调用：
script = """
local url = KEYS[1]
local queue_key = KEYS[2]
if redis.call('SISMMEMBER', 'crawler:urls', url) == 0 then
redis.call('SADD', 'crawler:urls', url)
redis.call('LPUSH', queue_key, url)
return 1
else
return 0
end
"""
add_if_new = r.register_script(script)
使用示例
result = add_if_new(keys=['https://example.com', 'crawler:queue'])
if result == 1:
print("URL added and enqueued")
四、性能优化技巧
pipe = r.pipeline()
for url in urls:
pipe.sadd('crawler:urls', url)
pipe.execute()
r.expire('crawler:urls', 86400) # 24小时后自动删除
常见问题Q&A
Q1：被网站封IP怎么办？
A：立即启用备用代理池，建议使用住宅代理（如站大爷IP代理），配合每请求更换IP策略。可在Scrapy中设置DOWNLOADER_MIDDLEWARES使用scrapy-rotating-proxies中间件。
Q2：Redis突然崩溃，数据丢失怎么办？
A：启用AOF持久化（appendonly yes）并设置每秒同步（appendfsync everysec），同时定期备份RDB文件。
Q3：如何处理重复URL但不同参数的情况（如/page/1和/page/2）？
A：在存储前对URL进行规范化处理，如移除无关参数、统一大小写、解析Canonical URL。
Q4：Redis集群和单节点如何选择？
A：单节点适合中小型爬虫（QPS<10k）；集群模式支持水平扩展，但需处理跨槽操作，建议使用redis-py-cluster库。
Q5：如何限制爬取速度避免被封？
A：使用Redis的INCR和EXPIRE实现令牌桶算法，或直接在Scrapy中设置DOWNLOAD_DELAY和CONCURRENT_REQUESTS_PER_DOMAIN。
结语：Redis是爬虫的“内存加速器”
从百万级URL的精确去重，到多机协作的分布式队列，Redis通过简单的数据结构解决了爬虫开发中的核心痛点。掌握SET、LIST、ZSET的使用技巧，配合Lua脚本和管道操作，能让你的爬虫效率提升10倍以上。记住：90%的爬虫性能问题，都可以通过Redis优化解决。
