Scrapy框架-去重原理讲解、数据收集以及信号量知识-阿里云开发者社区

开发者社区> 开发与运维> 正文

Scrapy框架-去重原理讲解、数据收集以及信号量知识

简介: scrapy的去重原理 信号无处不在 【知其然且知其所以然,才能够更好的理解这个框架,而且在使用和改动的时候也能够想出更合理的方法。】 (开始测试前,到settings.py中注释掉下载中间件的设置,这里用jobbole爬虫来测试,所以之前写的调用chrome的两个方法init和spider_closed都要注释掉。

scrapy的去重原理

信号无处不在
【知其然且知其所以然,才能够更好的理解这个框架,而且在使用和改动的时候也能够想出更合理的方法。】

(开始测试前,到settings.py中注释掉下载中间件的设置,这里用jobbole爬虫来测试,所以之前写的调用chrome的两个方法init和spider_closed都要注释掉。)

这里你们可以用自己的爬虫来测试,不一定要按我的来测试。

到scrapy源码包

[项目\Lib\site-packages\scrapy\dupefilters.py]

里面找去重的代码,RFPDupeFilter类就是去重器,里面有个方法叫做request_seen,它在scheduler(发起请求的第一时间)的时候被调用。它代码里面调用了request_fingerprint方法(就是给request生成一个指纹),连续两次跟进代码就进入到了request.py文件的request_fingerprint方法中,方法中有一句代码:

fp = hashlib.sha1()
…

…

cache[include_headers] = fp.hexdigest()

就是给每一个传递过来的url生成一个固定长度的唯一的哈希值。这种量级千万到亿的级别内存是可以应付的。

然后看到init方法:

    def __init__(self, path=None, debug=False):
        self.file = None
        self.fingerprints = set()
        self.logdupes = True
        self.debug = debug
        self.logger = logging.getLogger(__name__)
        if path:
            self.file = open(os.path.join(path, 'requests.seen'), 'a+')
            self.file.seek(0)
            self.fingerprints.update(x.rstrip() for x in self.file)

里面有一句代码 self.fingerprints = set(),就是通过set集合的特点(set不允许有重复值)进行去重。

可以用断点调试的方法进行跟踪查看。


Telnet

Telnet协议是TCP/IP协议族中的一员,是Internet远程登陆服务的标准协议和主要方式。它为用户提供了在本地计算机上完成远程主机工作的能力。在终端使用者的电脑上使用telnet程序,用它连接到服务器。终端使用者可以在telnet程序中输入命令,这些命令会在服务器上运行,就像直接在服务器的控制台上输入一样。可以在本地就能控制服务器。要开始一个telnet会话,必须输入用户名和密码来登录服务器。Telnet是常用的远程控制Web服务器的方法。

可以用这个在本地操控远程的scrapy,telnet是默认开启的,当scrapy运行的时候,会自动开启端口,运行框会有显示:

[scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023

我们可以通过cmd连接测试。

要测试,就要开启windows电脑的telnet功能。在控制面板-程序与功能-启用或关闭windows功能,找到Telnet服务和客户端,打上勾即可。

linux系统也是默认没有Telnet的,需要安装,比如我的Deepin系统就需要用命令安装:

sudo apt-get install telnet

先运行scrap有,然后在cmd(linux在终端输入)中输入:

telnet localhost 6023

连接成功后会显示:

>>>

符号,我们输入est()可以查看当前scrapy的运行状态等属性。官方文档有Telnet的相关介绍,里面包括有一些可用的变量/查看引擎状态/暂停,恢复和停止scrapy/终端信号/设置等内容。

Telnet的源码在site-package/scrapy/extensions目录下的telnet.py文件中。


数据收集器

官方文档中有对数据收集器的介绍.

数据收集器可以应用在很多地方,举例子:如果你想知道scrapy总共发出了多少个request请求;或者你想记录总共发起了多少次yeild,都可以用数据收集器记录,它不用打开,默认可以直接使用。

在jobbole爬虫的JobboleSpider类里面新增代码:

# 收集jobbole.com所有的500、404页面及页面数量
    handle_httpstatus_list = [500,404]
    def __init__(self):
        self.fail_urls = []

然后到parse方法中新增代码:

        if response.status == 500 or response.status == 404:
            self.fail_urls.append(response.url)
            self.crawler.stats.inc_value("failed_url")

就可以实现对页面数量和页面url的收集,可以自定义保存.


信号

scrapy的中间件与通信都是通过信号来传递的,官网有文档

可以在您的Scrapy项目中捕捉一些信号(使用 extension)来完成额外的工作或添加额外的功能,扩展Scrapy。

信号提供了一些参数,不过处理函数不用接收所有的参数 - 信号分发机制(singal dispatching mechanism)仅仅提供处理器(handler)接受的参数。

代码演示:

from scrapy.xlib.pydispatch import dispatcher
from scrapy import signals

    def parse(self, response):
        """ 正式进入爬取区域 """
        dispatcher.connect(self.handler_spider_closed, signals.spider_closed)

    def handler_spider_closed(self, spider, reason):
        print("这个名为:" + spider.name + "的爬虫已经关闭了,原因是:" + reason)

得到的输出结果是在爬虫关闭后:

 'start_time': datetime.datetime(2018, 1, 20, 3, 5, 49, 791339)}
2018-01-20 11:05:51 [scrapy.core.engine] INFO: Spider closed (finished)

这个名为:dongmeng的爬虫已经关闭了,原因是:finished

dispatcher.connect监听爬虫signals(信号),当收到爬虫关闭(signals.spider_closed)的信号时,调用handler_spider_closed方法。而handler_spider_closed我只是简单的编写了一个关闭的原因而已,还可以做更深入的操作。

由此可以看出,爬虫的信号监听和状态操作可以做很多的事情,比如打开爬虫时、爬虫空闲时可以收集当前request请求队列、记录404页面数量或者200状态的页面有那些、多少条等。


扩展

官方文档对扩展有介绍:

扩展框架提供一个机制,使得你能将自定义功能绑定到Scrapy。

扩展只是正常的类,它们在Scrapy启动时被实例化、初始化。

scrapy里面的中间件都是一种扩展。


为了更好的理解扩展,这里用源码跟踪的形式来理解,到[项目/Lib/site-packages/scrapy/extensions]目录下找到corestats.py文件。

from_crawler方法里面记录了很多的信号量:

@classmethod
    def from_crawler(cls, crawler):
        o = cls(crawler.stats)
        crawler.signals.connect(o.spider_opened, signal=signals.spider_opened)
        crawler.signals.connect(o.spider_closed, signal=signals.spider_closed)
        crawler.signals.connect(o.item_scraped, signal=signals.item_scraped)
        crawler.signals.connect(o.item_dropped, signal=signals.item_dropped)
        crawler.signals.connect(o.response_received, signal=signals.response_received)
        return o

下面对应都写着具体的执行方法。比如spider_opened爬虫启动的时候就会:

    def spider_opened(self, spider):
        self.stats.set_value('start_time', datetime.datetime.utcnow(), spider=spider)

记录爬虫启动的时间。

还有spider_closed关闭爬虫的时候就会:

    def spider_closed(self, spider, reason):
        self.stats.set_value('finish_time', datetime.datetime.utcnow(), spider=spider)
        self.stats.set_value('finish_reason', reason, spider=spider)

记录下关闭时间和关闭的原因等。

到[项目/Lib/site-packages/scrapy/extensions]memusage.py文件是监控内存使用的。里面有一串代码:

        crawler.signals.connect(self.engine_started, signal=signals.engine_started)
        crawler.signals.connect(self.engine_stopped, signal=signals.engine_stopped)

是主要的绑定项

比如这个engine_started方法开始就记录内存使用信息。

        self.crawler = crawler
        self.warned = False
        self.notify_mails = crawler.settings.getlist('MEMUSAGE_NOTIFY_MAIL')
        self.limit = crawler.settings.getint('MEMUSAGE_LIMIT_MB')*1024*1024
        self.warning = crawler.settings.getint('MEMUSAGE_WARNING_MB')*1024*1024
        self.check_interval = crawler.settings.getfloat('MEMUSAGE_CHECK_INTERVAL_SECONDS')
        self.mail = MailSender.from_settings(crawler.settings)

里面的大概意思就是设置了监控内存的定时时间/不同状态的操作等,可以在engine_started里面加逻辑,想对内存干什么就干什么。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
开发与运维
使用钉钉扫一扫加入圈子
+ 订阅

集结各类场景实战经验,助你开发运维畅行无忧

其他文章