下载scrapy中间件的使用方法是什么?

下载scrapy中间件的使用方法是什么?

展开
收起
芯在这 2021-12-08 23:25:52 428 分享 版权
1 条回答
写回答
取消 提交回答
  • Downloader Middlewares默认的方法:

    process_request(self, request, spider):

    当每个request通过下载中间件时,该方法被调用。

    返回None值:没有return也是返回None,该request对象传递给下载器,或通过引擎传递给其他权重低的process_request方法

    返回Response对象:不再请求,把response返回给引擎

    返回Request对象:把request对象通过引擎交给调度器,此时将不通过其他权重低的process_request方法

    process_response(self, request, response, spider):

    当下载器完成http请求,传递响应给引擎的时候调用

    返回Resposne:通过引擎交给爬虫处理或交给权重更低的其他下载中间件的process_response方法

    返回Request对象:通过引擎交给调取器继续请求,此时将不通过其他权重低的process_request方法

    在settings.py中配置开启中间件,权重值越小越优先执行

    2021-12-08 23:26:30
    赞同 展开评论

为企业提供高效、稳定、易扩展的中间件产品。

还有其他疑问?
咨询AI助理