Scrapy的架构

简介: Scrapy的架构太重要了,单用一篇文章再总结整合下。前两张图来自《Learning Scrapy》,第三张图来自Scrapy 1.0中文官方文档(该中文文档只到1.0版),第四张图来自Scrapy 1.4英文官方文档(最新版),是我翻译的。

Scrapy的架构太重要了,单用一篇文章再总结整合下。前两张图来自《Learning Scrapy》,第三张图来自Scrapy 1.0中文官方文档(该中文文档只到1.0版),第四张图来自Scrapy 1.4英文官方文档(最新版),是我翻译的。

一、Scrapy的Twisted引擎模型

这里重要的概念是单线程、NIO、延迟项和延迟链。

img_d6f132f918114746b75d28f2b8077bf2.png
挂衣钩和链子

二、Scrapy的性能模型

img_b407cf08388fdd0e167131d63c3c72e4.png

Scrapy包括以下部分:

  • 调度器:大量的Request在这里排队,直到下载器处理它们。其中大部分是URL,因此体积不大,也就是说即便有大量请求存在,也可以被下载器及时处理。
  • 阻塞器:这是抓取器由后向前进行反馈的一个安全阀,如果进程中的响应大于5MB,阻塞器就会暂停更多的请求进入下载器。这可能会造成性能的波动。
  • 下载器:这是对Scrapy的性能最重要的组件。它用复杂的机制限制了并发数。它的延迟(管道长度)等于远程服务器的响应时间,加上网络/操作系统、Python/Twisted的延迟。我们可以调节并发请求数,但是对其它延迟无能为力。下载器的能力受限于CONCURRENT_REQUESTS*设置。
  • 爬虫:这是抓取器将Response变为Item和其它Request的组件。只要我们遵循规则来写爬虫,通常它不是瓶颈。
  • Item Pipelines:这是抓取器的第二部分。我们的爬虫对每个Request可能产生几百个Items,只有CONCURRENT_ITEMS会被并行处理。这一点很重要,因为,如果你用pipelines连接数据库,你可能无意地向数据库导入数据,pipelines的默认值(100)就会看起来很少。

爬虫和pipelines的代码是异步的,会包含必要的延迟,但二者不会是瓶颈。爬虫和pipelines很少会做繁重的处理工作。如果是的话,服务器的CPU则是瓶颈。


三、Scrapy架构

原文链接:http://scrapy-chs.readthedocs.io/zh_CN/latest/topics/architecture.html

接下来的图表展现了Scrapy的架构,包括组件及在系统中发生的数据流的概览(绿色箭头所示)。 下面对每个组件都做了简单介绍,并给出了详细内容的链接。数据流如下所描述。

img_50ed8bd7ab2f176c1bfd62317bbbfa06.png

组件

Scrapy Engine

引擎负责控制数据流在系统中所有组件中流动,并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。

调度器(Scheduler)

调度器从引擎接受request并将他们入队,以便之后引擎请求他们时提供给引擎。

下载器(Downloader)

下载器负责获取页面数据并提供给引擎,而后提供给spider。

Spiders

Spider是Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的URL的类。 每个spider负责处理一个特定(或一些)网站。 更多内容请看 Spiders

Item Pipeline

Item Pipeline负责处理被spider提取出来的item。典型的处理有清理、 验证及持久化(例如存取到数据库中)。 更多内容查看 Item Pipeline

下载器中间件(Downloader middlewares)

下载器中间件是在引擎及下载器之间的特定钩子(specific hook),处理Downloader传递给引擎的response。 其提供了一个简便的机制,通过插入自定义代码来扩展Scrapy功能。更多内容请看 下载器中间(Downloader Middleware)

Spider中间件(Spider middlewares)

Spider中间件是在引擎及Spider之间的特定钩子(specific hook),处理spider的输入(response)和输出(items及requests)。 其提供了一个简便的机制,通过插入自定义代码来扩展Scrapy功能。更多内容请看 Spider中间件(Middleware)

数据流(Data flow)

Scrapy中的数据流由执行引擎控制,其过程如下:

  1. 引擎打开一个网站(open a domain),找到处理该网站的Spider并向该spider请求第一个要爬取的URL(s)。
  2. 引擎从Spider中获取到第一个要爬取的URL并在调度器(Scheduler)以Request调度。
  3. 引擎向调度器请求下一个要爬取的URL。
  4. 调度器返回下一个要爬取的URL给引擎,引擎将URL通过下载中间件(请求(request)方向)转发给下载器(Downloader)。
  5. 一旦页面下载完毕,下载器生成一个该页面的Response,并将其通过下载中间件(返回(response)方向)发送给引擎。
  6. 引擎从下载器中接收到Response并通过Spider中间件(输入方向)发送给Spider处理。
  7. Spider处理Response并返回爬取到的Item及(跟进的)新的Request给引擎。
  8. 引擎将(Spider返回的)爬取到的Item给Item Pipeline,将(Spider返回的)Request给调度器。
  9. (从第二步)重复直到调度器中没有更多地request,引擎关闭该网站。

事件驱动网络(Event-driven networking)

Scrapy基于事件驱动网络框架 Twisted 编写。因此,Scrapy基于并发性考虑由非阻塞(即异步)的实现。

关于异步编程及Twisted更多的内容请查看下列链接:


四、Scrapy架构

原文链接:https://docs.scrapy.org/en/latest/topics/architecture.html

下图展示了Scrapy的架构、它的组件及数据流(红色箭头)。分别对组件和数据流进行了说明。

数据流

img_1caa72b5e8a492a90d6b1e44191292d0.png

数据流是受执行引擎控制的,流程如下:

  1. 引擎从爬虫得到初始请求;
  2. 引擎在调度器中调度请求,并请求下一个要爬取的请求;
  3. 调度器返回引擎下一个要爬取的请求;
  4. 通过下载中间件,引擎将请求发送到下载器;
  5. 页面下载完毕之后,下载器生成一个该页面的响应,并通过下载中间件发送给引擎;
  6. 引擎收到来自下载器的响应,并通过爬虫中间件,将它发送到爬虫进行处理;
  7. 爬虫处理响应,而后返回抓取到的items和新的请求到引擎,返回还要要通过爬虫中间件;
  8. 引擎将处理好的items发送到Item Pipelines,然后发送已处理的请求到调度器,并询问下个可能的请求;
  9. 这个过程重复进行(从1开始),直到调度器没有更多的请求。

组件

Scrapy引擎

引擎负责控制数据流在系统中所有组件中流动,并在相应动作发生时触发事件。

调度器

调度器从引擎接受请求并将其排队,以便之后引擎请求它们时提供给引擎。

下载器

下载器负责获取页面,并提供给引擎,引擎再将其提供给爬虫。

爬虫

Spider是Scrapy用户编写的用于解析请求并提取item或额外跟进的请求的类。

Item Pipeline

Item Pipeline负责处理爬虫提取出来的item。典型的任务有清理、 验证及持久化(例如存取到数据库中)。

下载器中间件

下载器中间件是在引擎及下载器之间的特定钩子(specific hook),当请求从引擎到下载器时处理请求,响应从下载器到引擎时处理响应。

如果要做以下的工作,就可以使用下载器中间件:

  • 请求发送给下载器之前,处理这个请求(即,在Scrapy发送请求到网站之前);
  • 传递响应到爬虫之前,修改收到的响应;
  • 发送一个新的请求到爬虫,而不是传递收到的响应到爬虫;
  • 没有获取网页,直接传递响应给爬虫;
  • 默默丢弃一些请求。

爬虫中间件

爬虫中间件是在引擎及爬虫之间的特定钩子(specific hook),处理爬虫的输入(响应)和输出(items和请求)。

爬虫中间件的可以用来:

  • 对爬虫调回的输出做后处理 —— 修改、添加、移除请求或items;
  • 后处理初始请求(start_requests);
  • 处理爬虫异常;
  • 调用errback,而不是基于响应内容调回一些请求。

事件驱动网络

Scrapy是基于事件驱动网络框架 Twisted 编写的。因此,Scrapy基于并发考虑由非阻塞(异步)代码实现。

关于异步编程及Twisted更多的内容请查看下列链接:

目录
相关文章
|
12月前
|
数据采集 存储 中间件
【 ⑭】Scrapy架构(组件介绍、架构组成和工作原理)
【 ⑭】Scrapy架构(组件介绍、架构组成和工作原理)
362 0
|
数据采集 搜索推荐 Python
24、Python快速开发分布式搜索引擎Scrapy精讲—爬虫和反爬的对抗过程以及策略—scrapy架构源码分析图
【百度云搜索:http://www.lqkweb.com】 【搜网盘:http://www.swpan.cn】 1、基本概念 2、反爬虫的目的 3、爬虫和反爬的对抗过程以及策略 scrapy架构源码分析图
6014 0
|
数据采集 NoSQL 调度
分布式scrapy_redis源码总结,及其架构
分布式scrapy的组件源码介绍完了,大致总结一下,相关组件目录如下: 《RedisSpider的调度队列实现过程及其源码》 《scrapy中scrapy_redis分布式内置pipeline源码及其工作原理》 《scrapy分布式调度源码及其实现过程》 《scrapy分布式Spider源码分析及...
1137 0
|
中间件 调度 Python
Scrapy 架构及数据流图简介
Scrapy 是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。 Scrapy 组件介绍 Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动,并在相应动作发生时触发事件。
3136 0
|
数据采集 中间件 调度
Python爬虫从入门到放弃(十二)之 Scrapy框架的架构和原理
这一篇文章主要是为了对scrapy框架的工作流程以及各个组件功能的介绍 Scrapy目前已经可以很好的在python3上运行Scrapy使用了Twisted作为框架,Twisted有些特殊的地方是它是事件驱动的,并且比较适合异步的代码。
1811 0
|
中间件 调度 Python
Scrapy 核心架构 流程 (三)
一. 核心架构关于核心架构,在官方文档中阐述的非常清晰,地址:http://doc.scrapy.org/en/latest/topics/architecture.html。英文有障碍可查看中文翻译文档,笔者也参与了Scraoy部分文档的翻译,我的翻译GitHub地址:https://github.com/younghz/scrapy_doc_chs。源repo地址:https://gi
1851 0
|
数据采集 中间件 数据处理
Python网络爬虫2 ---- scrapy爬虫架构介绍和初试
原文出处:http://my.oschina.net/dragonblog/blog/173290 上一篇文章的环境搭建是相对于手动操作的过程,而大家可能对这个疑问是什么是scrapy?为什么要用scrapy?下面主要是对这两个问题的简要回答。
2006 0
|
中间件 数据处理 调度
Python抓取框架:Scrapy的架构
最近在学Python,同时也在学如何使用python抓取数据,于是就被我发现了这个非常受欢迎的Python抓取框架Scrapy,下面一起学习下Scrapy的架构,便于更好的使用这个工具。 一、概述 下图显示了Scrapy的大体架构,其中包含了它的主要组件及系统的数据处理流程(绿色箭头所示)。
1253 0
|
2天前
|
数据采集 存储 JSON
Python网络爬虫:Scrapy框架的实战应用与技巧分享
【10月更文挑战第27天】本文介绍了Python网络爬虫Scrapy框架的实战应用与技巧。首先讲解了如何创建Scrapy项目、定义爬虫、处理JSON响应、设置User-Agent和代理,以及存储爬取的数据。通过具体示例,帮助读者掌握Scrapy的核心功能和使用方法,提升数据采集效率。
22 6
|
30天前
|
数据采集 中间件 开发者
Scrapy爬虫框架-自定义中间件
Scrapy爬虫框架-自定义中间件