RedisSpider的调度队列实现过程及其源码
对于非分布式的scrapy爬虫而言,不能共享爬虫队列,不能实现分布式。RedisSpider是依赖Redis存储中介,来实现多台主机多爬虫之间的通信,RedisSpider是去重是内部的queue.py文件实现的,内部实现了队列、堆栈、优先级队列,在调度的统一协调下最终实现分布式协同工作。
Redis的安装过程及与SSM结合使用
Redis的安装过程及与SSM结合使用
Redis安装过程
下载安装包,解压,Mac系统将文件夹放在/usr/local文件夹下
打开终端,先安装服务器端server
终端$ cd /usr/local/redis/
去文件下进入redis.