RedisSpider的调度队列实现过程及其源码
对于非分布式的scrapy爬虫而言，不能共享爬虫队列，不能实现分布式。RedisSpider是依赖Redis存储中介，来实现多台主机多爬虫之间的通信，RedisSpider是去重是内部的queue.py文件实现的，内部实现了队列、堆栈、优先级队列，在调度的统一协调下最终实现分布式协同工作。
规划一个智能工厂应避免的十个坑
提醒各位AI时代，智能制造也在重新被定义，千万不要只看什么所谓专家的言论标准，不去实践，擦亮眼睛，每个企业都活的不容易，人是智能的中心。智能，是人的进化!
Scrapy框架-分布式爬虫实现及scrapy_redis使用
scrapy是不支持分布式的。分布式爬虫应该是在多台服务器(A B C服务器)，他们不会重复交叉爬取(需要用到状态管理器)。
有主从之分的分布式结构图
重点
一、我的机器是Linux系统或者是MacOSX系统，不是Windows
二、区别，事实上，分布式爬虫有几个不同的需求，会导致结构不一样，我举个例子：
1、我需要多台机器同时爬取目标url并且同时从url中抽取数据，N台机器做一模一样的事，通过redis来调度、中转，也就是说它根本没有主机从机之分。
