scrapy的基本流程?

scrapy分为9个步骤：
Spiders需要初始的start_url或则函数stsrt_requests,会在内部生成Requests给Engine；
Engine将requests发送给Scheduler;
Engine从Scheduler那获取requests,交给Download下载；
在交给Dowmload过程中会经过Downloader Middlewares(经过process_request函数)；
Dowmloader下载页面后生成一个response，这个response会传给Engine，这个过程中又经过了Downloader Middlerwares(经过process_request函数)，在传送中出错的话经过process_exception函数；
Engine将从Downloader那传送过来的response发送给Spiders处理，这个过程经过Spiders Middlerwares(经过process_spider_input函数)；
Spiders处理这个response，返回Requests或者Item两个类型，传给Engine，这个过程又经过Spiders Middlewares(经过porcess_spider_output函数)；
Engine接收返回的信息，如果使Item，将它传给Items Pipeline中；如果是Requests,将它传给Scheduler，继续爬虫；
重复第三步，直至没有任何需要爬取的数据