scrapy的基本流程?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

scrapy的基本流程?

珍宝珠 2019-11-11 11:14:15 396

scrapy的基本流程?

Python
分享到
取消 提交回答
全部回答(1)
  • 珍宝珠
    2019-11-11 12:50:13

    scrapy分为9个步骤:
    Spiders需要初始的start_url或则函数stsrt_requests,会在内部生成Requests给Engine;
    Engine将requests发送给Scheduler;
    Engine从Scheduler那获取requests,交给Download下载;
    在交给Dowmload过程中会经过Downloader Middlewares(经过process_request函数);
    Dowmloader下载页面后生成一个response,这个response会传给Engine,这个过程中又经过了Downloader Middlerwares(经过process_request函数),在传送中出错的话经过process_exception函数;
    Engine将从Downloader那传送过来的response发送给Spiders处理,这个过程经过Spiders Middlerwares(经过process_spider_input函数);
    Spiders处理这个response,返回Requests或者Item两个类型,传给Engine,这个过程又经过Spiders Middlewares(经过porcess_spider_output函数);
    Engine接收返回的信息,如果使Item,将它传给Items Pipeline中;如果是Requests,将它传给Scheduler,继续爬虫;
    重复第三步,直至没有任何需要爬取的数据

    0 0
开发与运维
使用钉钉扫一扫加入圈子
+ 订阅

集结各类场景实战经验,助你开发运维畅行无忧

推荐文章
相似问题
推荐课程
  • 111
    学习人数:0