1
条回答
写回答
写回答
-
CookiesMiddleware：是否向web server发送cookie
DefaultHeadersMiddleware：将所有request的头设置为默认模式
DownloadTimeoutMiddleware：设置request的timeout
HttpAuthMiddleware：对来自特定spider的request授权
HttpCacheMiddleware：给request&response设置缓存策略
HttpProxyMiddleware：给所有request设置http代理
RedirectMiddleware：处理request的重定向
MetaRefreshMiddleware：根据meta-refresh html tag处理重定向
RetryMiddleware：失败重试策略
RobotsTxtMiddleware：robots封禁处理
UserAgentMiddleware：支持user agent重写
DepthMiddleware：对抓取深度和深度优先级进行设置；
HttpErrorMiddleware：设置成功码的范围
OffsiteMiddleware：主域过滤
UrlLengthMiddleware：限定有效url的长度
2021-12-08 23:00:20赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
热门讨论
热门文章
seata2.0.0报错如下如何处理？
1286
Seata升级到2.0 支持报这个错，咋回事？
1182
请教一下Nacos 配置 不生效，不加载shared-configs 配置怎么办?
1089
sentinel控制台 没有发现服务 是为啥 ？
439
Seata升级1.7后启动报错,这是哪里还需要修改？
1852
Seata 执行过程中报错Failed to get available servers怎么办？
1657
部署了Nacos2.4.0，开启鉴权，用管理员账号，修密码，就报401错误，啥原因呀？
1442
Seata中 try to proceed invocation error是什么问题？
1646
为什么在SeaTa中提示can not get cluster name in registry
3488
我们在做软件的国产化适配，请问Tengine在信创名单里面吗？
1376
展开全部
重塑云上的 Java 语言
94847
3分钟，了解阿里云热门开发者工具 Cloud Toolkit
92485
阿里中间件首席架构师钟华：《企业IT架构转型之道：阿里巴巴中台战略思想与架构实战》新书出版（含试读PDF）！
36788
一键托管，阿里云全链路追踪服务正式商用：成本仅自建1/5或更少
26794
Kafka、RabbitMQ、RocketMQ消息中间件的对比—— 消息发送性能
27361
HiSDP —— 高效的C++软件开发平台
24742
业界主流MQ对比
26055
Kafka、RabbitMQ、RocketMQ 消息中间件的对比 | 消息发送性能篇
25683
首届阿里巴巴中间件技术峰会资料回顾
20370
性能压测工具选型对比
23231
展开全部
