1
条回答
写回答
写回答
-
CookiesMiddleware：是否向web server发送cookie
DefaultHeadersMiddleware：将所有request的头设置为默认模式
DownloadTimeoutMiddleware：设置request的timeout
HttpAuthMiddleware：对来自特定spider的request授权
HttpCacheMiddleware：给request&response设置缓存策略
HttpProxyMiddleware：给所有request设置http代理
RedirectMiddleware：处理request的重定向
MetaRefreshMiddleware：根据meta-refresh html tag处理重定向
RetryMiddleware：失败重试策略
RobotsTxtMiddleware：robots封禁处理
UserAgentMiddleware：支持user agent重写
DepthMiddleware：对抓取深度和深度优先级进行设置；
HttpErrorMiddleware：设置成功码的范围
OffsiteMiddleware：主域过滤
UrlLengthMiddleware：限定有效url的长度
2021-12-08 23:00:20赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
热门讨论
热门文章
seata2.0.0报错如下如何处理？
951
部署了Nacos2.4.0，开启鉴权，用管理员账号，修密码，就报401错误，啥原因呀？
1233
Seata升级到2.0 支持报这个错，咋回事？
950
Seata 执行过程中报错Failed to get available servers怎么办？
1517
请教一下Nacos 配置 不生效，不加载shared-configs 配置怎么办?
875
Seata中Global lock wait timeout是为什么呢？
7880
为什么在SeaTa中提示can not get cluster name in registry
3353
我们在做软件的国产化适配，请问Tengine在信创名单里面吗？
1219
maven配置了这个，No versions available for com.aliyun:ev
2862
Sentinel 控制台没有显示我的应用，或者没有监控展示，如何排查？
1136
展开全部
重塑云上的 Java 语言
94826
Java编码技巧之高效代码50例
38099
开发者说：Sentinel 流控功能在 SpringMVC/SpringBoot 上的实践
24374
Spring Cloud Config 规范
20681
盘点阿里巴巴 15 款开发者工具
20605
2017双11技术揭秘—阿里巴巴数据库技术架构演进
13530
云栖开发者沙龙 - 数据库分库分表中间件(杭州站) 业内专家大咖齐聚，期待你的参与
10183
重构：改善饿了么交易系统的设计思路
10965
信用算力基于 RocketMQ 实现金融级数据服务的实践
9946
阿里架构总监一次讲透中台架构，13页PPT精华详解，建议收藏！
33837
展开全部
