scrapy的去重原理
【知其然且知其所以然，才能够更好的理解这个框架，而且在使用和改动的时候也能够想出更合理的方法。】
（开始测试前，到settings.py中注释掉下载中间件的设置，这里用jobbole爬虫来测试，所以之前写的调用chrome的两个方法init和spider_closed都要注释掉。）
这里你们可以用自己的爬虫来测试，不一定要按我的来测试。
到scrapy源码包
[项目\Lib\site-packages\scrapy\dupefilters.py]
里面找去重的代码,RFPDupeFilter类就是去重器，里面有个方法叫做request_seen，它在scheduler(发起请求的第一时间)的时候被调用。它代码里面调用了request_fingerprint方法（就是给request生成一个指纹），连续两次跟进代码就进入到了request.py文件的request_fingerprint方法中，方法中有一句代码：
fp = hashlib.sha1()
…
…
cache[include_headers] = fp.hexdigest()
就是给每一个传递过来的url生成一个固定长度的唯一的哈希值。这种量级千万到亿的级别内存是可以应付的。
然后看到init方法：
def __init__(self, path=None, debug=False):
self.file = None
self.fingerprints = set()
self.logdupes = True
self.debug = debug
self.logger = logging.getLogger(__name__)
if path:
self.file = open(os.path.join(path, 'requests.seen'), 'a+')
self.file.seek(0)
self.fingerprints.update(x.rstrip() for x in self.file)
里面有一句代码 self.fingerprints = set()，就是通过set集合的特点（set不允许有重复值）进行去重。
可以用断点调试的方法进行跟踪查看。
Telnet
Telnet协议是TCP/IP协议族中的一员，是Internet远程登陆服务的标准协议和主要方式。它为用户提供了在本地计算机上完成远程主机工作的能力。在终端使用者的电脑上使用telnet程序，用它连接到服务器。终端使用者可以在telnet程序中输入命令，这些命令会在服务器上运行，就像直接在服务器的控制台上输入一样。可以在本地就能控制服务器。要开始一个telnet会话，必须输入用户名和密码来登录服务器。Telnet是常用的远程控制Web服务器的方法。
可以用这个在本地操控远程的scrapy，telnet是默认开启的，当scrapy运行的时候，会自动开启端口，运行框会有显示：
[scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023
我们可以通过cmd连接测试。
要测试，就要开启windows电脑的telnet功能。在控制面板-程序与功能-启用或关闭windows功能，找到Telnet服务和客户端，打上勾即可。
linux系统也是默认没有Telnet的，需要安装，比如我的Deepin系统就需要用命令安装：
sudo apt-get install telnet
先运行scrap有，然后在cmd(linux在终端输入)中输入：
telnet localhost 6023
连接成功后会显示：
>>>
符号，我们输入est()可以查看当前scrapy的运行状态等属性。官方文档有Telnet的相关介绍，里面包括有一些可用的变量/查看引擎状态/暂停，恢复和停止scrapy/终端信号/设置等内容。
Telnet的源码在site-package/scrapy/extensions目录下的telnet.py文件中。
数据收集器
官方文档中有对数据收集器的介绍.
数据收集器可以应用在很多地方，举例子：如果你想知道scrapy总共发出了多少个request请求；或者你想记录总共发起了多少次yeild，都可以用数据收集器记录，它不用打开，默认可以直接使用。
在jobbole爬虫的JobboleSpider类里面新增代码：
# 收集jobbole.com所有的500、404页面及页面数量
handle_httpstatus_list = [500,404]
def __init__(self):
self.fail_urls = []
然后到parse方法中新增代码：
if response.status == 500 or response.status == 404:
self.fail_urls.append(response.url)
self.crawler.stats.inc_value("failed_url")
就可以实现对页面数量和页面url的收集，可以自定义保存.
信号
scrapy的中间件与通信都是通过信号来传递的，官网有文档
可以在您的Scrapy项目中捕捉一些信号(使用 extension)来完成额外的工作或添加额外的功能，扩展Scrapy。
信号提供了一些参数，不过处理函数不用接收所有的参数 - 信号分发机制(singal dispatching mechanism)仅仅提供处理器(handler)接受的参数。
代码演示：
from scrapy.xlib.pydispatch import dispatcher
from scrapy import signals
def parse(self, response):
""" 正式进入爬取区域 """
dispatcher.connect(self.handler_spider_closed, signals.spider_closed)
def handler_spider_closed(self, spider, reason):
print("这个名为：" + spider.name + "的爬虫已经关闭了，原因是：" + reason)
得到的输出结果是在爬虫关闭后：
'start_time': datetime.datetime(2018, 1, 20, 3, 5, 49, 791339)}
2018-01-20 11:05:51 [scrapy.core.engine] INFO: Spider closed (finished)
这个名为：dongmeng的爬虫已经关闭了，原因是：finished
dispatcher.connect监听爬虫signals（信号），当收到爬虫关闭（signals.spider_closed）的信号时，调用handler_spider_closed方法。而handler_spider_closed我只是简单的编写了一个关闭的原因而已，还可以做更深入的操作。
由此可以看出，爬虫的信号监听和状态操作可以做很多的事情，比如打开爬虫时、爬虫空闲时可以收集当前request请求队列、记录404页面数量或者200状态的页面有那些、多少条等。
扩展
官方文档对扩展有介绍:
扩展框架提供一个机制，使得你能将自定义功能绑定到Scrapy。
扩展只是正常的类，它们在Scrapy启动时被实例化、初始化。
scrapy里面的中间件都是一种扩展。
为了更好的理解扩展，这里用源码跟踪的形式来理解，到[项目/Lib/site-packages/scrapy/extensions]目录下找到corestats.py文件。
from_crawler方法里面记录了很多的信号量：
@classmethod
def from_crawler(cls, crawler):
o = cls(crawler.stats)
crawler.signals.connect(o.spider_opened, signal=signals.spider_opened)
crawler.signals.connect(o.spider_closed, signal=signals.spider_closed)
crawler.signals.connect(o.item_scraped, signal=signals.item_scraped)
crawler.signals.connect(o.item_dropped, signal=signals.item_dropped)
crawler.signals.connect(o.response_received, signal=signals.response_received)
return o
下面对应都写着具体的执行方法。比如spider_opened爬虫启动的时候就会：
def spider_opened(self, spider):
self.stats.set_value('start_time', datetime.datetime.utcnow(), spider=spider)
记录爬虫启动的时间。
还有spider_closed关闭爬虫的时候就会：
def spider_closed(self, spider, reason):
self.stats.set_value('finish_time', datetime.datetime.utcnow(), spider=spider)
self.stats.set_value('finish_reason', reason, spider=spider)
记录下关闭时间和关闭的原因等。
到[项目/Lib/site-packages/scrapy/extensions]memusage.py文件是监控内存使用的。里面有一串代码：
crawler.signals.connect(self.engine_started, signal=signals.engine_started)
crawler.signals.connect(self.engine_stopped, signal=signals.engine_stopped)
是主要的绑定项
比如这个engine_started方法开始就记录内存使用信息。
self.crawler = crawler
self.warned = False
self.notify_mails = crawler.settings.getlist('MEMUSAGE_NOTIFY_MAIL')
self.limit = crawler.settings.getint('MEMUSAGE_LIMIT_MB')*1024*1024
self.warning = crawler.settings.getint('MEMUSAGE_WARNING_MB')*1024*1024
self.check_interval = crawler.settings.getfloat('MEMUSAGE_CHECK_INTERVAL_SECONDS')
self.mail = MailSender.from_settings(crawler.settings)
里面的大概意思就是设置了监控内存的定时时间/不同状态的操作等，可以在engine_started里面加逻辑，想对内存干什么就干什么。
