Scrapy框架
什么是scrapy框架
Scrapy 是一个为了抓取网页数据、提取结构性数据而编写的应用框架，该框架是封装的，包含 request （异步调度和处理）、下载器（多线程的 Downloader）、解析器（selector）和 twisted（异步处理）等。对于网站的内容爬取，其速度非常快捷。
安装
pip install scrapy
创建一个工程(终端)：
# 在终端运行如下命令 # 第一步 创建项目 scrapy startproject xxx # xxx是项目的名称 # 第二步 进入项目 cd xxx # 第三步 创建爬虫文件 scrapy genspider spiderName www.xxxxx.com # 网址为你要爬取的网站刚开始也可以随意写，后面可以在项目中改
创建项目完成后的文件目录结构
各文件的作用（根据我自己的项目）
scrapy.cfg: 项目的配置文件，一般不需要更改。
scrapy文件夹 存放爬虫代码
wangyi.py: 爬虫代码，初步处理数据
items.py: 定义爬取的数据类，
middlewares.py 中间件文件，自定义
pipelines.py: 管道文件 接受item.py中的数据 当我们的items被返回的时候，会自动调用我们的pipelines类中process_item()（需要加到settings.py里面）
settings.py: 项目的设置文件。设置伪装方式，ip代理
piders/: 放置spider代码的目录。
执行工程：
- scrapy crawl spiderName # 运行项目
scrapy持久化存储：
基于管道：
编码流程：
数据解析
在item中定义相关属性
将解析的数据封装储存到list类型的对象
将item类型的对象提交给管道进行持久化存储的操作
在管道类的process_item中要将其接受到的item对象中存储的数据进行持久化存储操作
在配置文件中开启管道
好处：
通用性强
面试题
将爬取到的数据一份存储到本地，一份存储到数据库，如何实现
管道文件中一个管道类对应的是将数据储存到一个平台
爬虫文件提交的item只会给管道文件中第一个被执行的管道类接受
process_item中的return item 表示将item传递给下一个即将被执行的管道类
scrapy五大核心组件：
引擎
用来处理整个数据流处理，触发事务（框架的核心）
调度器
用来接受引擎发过来的请求，压入队列中，并在引擎再次请求的时候返回，可以想象成一个URL（抓取网页的地址或者说是链接）
的优先队列，由它类决定下一个抓取的网址是什么，可以去除重复的网址
下载器：
用于下载网页端的内容，并将网页的内容返回给蜘蛛（Scrapy 下载器是建立在twisted这个高效的异步模型）
爬虫
爬虫主要用来干活，用于从特定的网页中提取自己需要的内容，即所谓的实体item，用户也可以从中提取出链接让Scrapy继续爬取下一个页面
项目管道
负责处理爬虫从网页中抽取到的实体，主要的功能是持久化实体，验证实体的有效性，清楚不需要的信息，当当页面被爬虫解析后
将被发送到项目管道，并经过几个特定的次序处理数据
