探索云世界
写回答
CookiesMiddleware：是否向web server发送cookie
DefaultHeadersMiddleware：将所有request的头设置为默认模式
DownloadTimeoutMiddleware：设置request的timeout
HttpAuthMiddleware：对来自特定spider的request授权
HttpCacheMiddleware：给request&response设置缓存策略
HttpProxyMiddleware：给所有request设置http代理
RedirectMiddleware：处理request的重定向
MetaRefreshMiddleware：根据meta-refresh html tag处理重定向
RetryMiddleware：失败重试策略
RobotsTxtMiddleware：robots封禁处理
UserAgentMiddleware：支持user agent重写
DepthMiddleware：对抓取深度和深度优先级进行设置；
HttpErrorMiddleware：设置成功码的范围
OffsiteMiddleware：主域过滤
UrlLengthMiddleware：限定有效url的长度
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
