1
条回答
写回答
写回答
-
Downloader Middlewares默认的方法：
process_request(self, request, spider)：
当每个request通过下载中间件时，该方法被调用。
返回None值：没有return也是返回None，该request对象传递给下载器，或通过引擎传递给其他权重低的process_request方法
返回Response对象：不再请求，把response返回给引擎
返回Request对象：把request对象通过引擎交给调度器，此时将不通过其他权重低的process_request方法
process_response(self, request, response, spider)：
当下载器完成http请求，传递响应给引擎的时候调用
返回Resposne：通过引擎交给爬虫处理或交给权重更低的其他下载中间件的process_response方法
返回Request对象：通过引擎交给调取器继续请求，此时将不通过其他权重低的process_request方法
在settings.py中配置开启中间件，权重值越小越优先执行
2021-12-08 23:26:30赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
热门讨论
热门文章
seata2.0.0报错如下如何处理？
1264
Seata升级到2.0 支持报这个错，咋回事？
1164
请教一下Nacos 配置 不生效，不加载shared-configs 配置怎么办?
1074
Seata 执行过程中报错Failed to get available servers怎么办？
1651
为什么在SeaTa中提示can not get cluster name in registry
3488
Seata中 try to proceed invocation error是什么问题？
1637
Seata升级1.7后启动报错,这是哪里还需要修改？
1842
sentinel控制台 没有发现服务 是为啥 ？
421
maven配置了这个，No versions available for com.aliyun:ev
2942
Seata 出现这个是什么情况？
756
展开全部
重塑云上的 Java 语言
94845
阿里中间件首席架构师钟华：《企业IT架构转型之道：阿里巴巴中台战略思想与架构实战》新书出版（含试读PDF）！
36783
一键托管，阿里云全链路追踪服务正式商用：成本仅自建1/5或更少
26786
Kafka、RabbitMQ、RocketMQ消息中间件的对比—— 消息发送性能
27356
开发者说：Sentinel 流控功能在 SpringMVC/SpringBoot 上的实践
24409
Kafka、RabbitMQ、RocketMQ 消息中间件的对比 | 消息发送性能篇
25670
分布式服务架构下的混沌工程实践
21723
性能压测工具选型对比
23227
中间件学习——metaq
23597
盘点阿里巴巴 15 款开发者工具
20681
展开全部
