在这篇博客中，将展示如何使用多进程和 Scrapy 来构建一个高效的 Amazon 爬虫系统。通过多进程处理，提高爬虫的效率和稳定性，同时利用 Redis 进行请求调度和去重。
项目结构
- Scrapy 爬虫：负责从 Amazon 抓取数据。
- MongoDB：存储待爬取的链接。
- Redis：用于请求调度和去重。
- 多进程管理：通过 Python 的
multiprocessing模块来管理多个爬虫进程。
代码实现
首先，我们定义了一些基本配置和导入所需的库：
import os import traceback from scrapy.crawler import CrawlerProcess from scrapy.utils.project import get_project_settings from multiprocessing import Process, Pool, active_children import pymongo MONGODB_HOST = '127.0.0.1' MONGODB_PORT = 27017 MONGODB_DB = 'AmazonSpiderProject' MONGODB_NEW_LINK_COL = 'amazon_NewReleases_url' QUERY = {'status': 0} REDIS_URL = 'redis://127.0.0.1:6379/2'
爬虫函数
spiderList 函数负责配置并启动 Scrapy 爬虫：
def spiderList(meta): os.environ['SCRAPY_SETTINGS_MODULE'] = 'scrapy_amazon_list_spider.settings' settings = get_project_settings() settings.set('ITEM_PIPELINES', { "scrapy_amazon_list_spider.pipelines.ScrapyAmazonListPipeline": 300 }) settings.set('SCHEDULER', "scrapy_redis.scheduler.Scheduler") settings.set('DUPEFILTER_CLASS', "scrapy_redis.dupefilter.RFPDupeFilter") settings.set('SCHEDULER_QUEUE_CLASS', 'scrapy_redis.queue.SpiderPriorityQueue') settings.set('SCHEDULER_PERSIST', True) settings.set('REDIS_URL', REDIS_URL) process = CrawlerProcess(settings) process.crawl("amazon_list_new", meta=meta) process.start()
运行爬虫进程
run_spider_process 函数负责启动一个新的爬虫进程，并处理异常：
def run_spider_process(chunk): print(f"进程 ID: {os.getpid()}") print(f"剩余活跃进程数: {len(active_children())}") print(f"要处理的项目数: {len(chunk)}") try: spiderList(meta=chunk) except Exception as e: print(f"发生错误: {e}") traceback.print_exc()
主函数
main 函数负责从 MongoDB 获取待爬取的链接，并将其分批提交给多进程池：
def main(): client = pymongo.MongoClient(host=MONGODB_HOST, port=MONGODB_PORT) db = client[MONGODB_DB] col = db[MONGODB_NEW_LINK_COL] batch_size = 100 offset = 0 while True: print('起始索引值：', offset) find_datas = col.find(QUERY).skip(offset).limit(batch_size) offset += batch_size meta = list(find_datas) if not meta: break with Pool(processes=3) as pool: pool.map(run_spider_process, [meta]) if __name__ == '__main__': main()
代码分析
- 配置与初始化：
- 定义 MongoDB 和 Redis 的连接配置。
- 导入必要的模块。
- 爬虫配置与启动：
- 在
spiderList函数中，配置 Scrapy 爬虫的设置，包括启用 Redis 调度器和去重器。 - 使用
CrawlerProcess启动 Scrapy 爬虫，并传递需要处理的meta数据。
- 运行爬虫进程：
- 在
run_spider_process函数中，使用os.getpid()打印当前进程 ID。 - 使用
active_children()查看当前活跃的子进程数。 - 使用
try-except块处理可能的异常，并打印错误信息。
- 主函数逻辑：
- 连接到 MongoDB，获取待处理的数据。
- 使用
skip和limit方法对数据进行分页处理。 - 使用
Pool创建一个多进程池，并将任务提交给多进程池进行并发执行。
优化建议
- 进程管理：
- 可以根据服务器性能调整进程池大小，以便充分利用系统资源。
- 考虑使用进程池中的
apply_async方法来处理结果回调，进一步优化并发处理。
- 错误处理：
- 在
run_spider_process中记录错误日志，以便后续分析和改进。
- 数据存储：
- 定期清理 MongoDB 和 Redis 中的旧数据，保持系统的良好性能。
结语
通过上述代码和步骤，构建了一个简单使用多进程和redis实现请求去重的 Amazon 爬虫系统。
