Scrapy框架的下载器中间件讲解&并用下载器中间件设置随机请求头
Scrapy是一个Python框架，具有高效、可扩展、可配置等特点。在Scrapy框架中，下载器中间件（Downloader Middleware）是一种机制，可以在Scrapy下载器处理请求和响应的过程中进行自定义操作。
下载器中间件的主要功能是在下载器发送请求和处理响应的过程中，对请求和响应进行处理和修改。在Scrapy框架中，下载器中间件可以用于以下操作：
设置请求头：通过下载器中间件设置请求头，可以模拟不同浏览器的请求头，避免被网站屏蔽。
设置代理IP：通过下载器中间件设置代理IP，可以实现动态IP访问，避免被网站反爬虫机制封禁。
修改请求URL：通过下载器中间件修改请求URL，可以实现动态URL访问，避免重复访问同一页面。
修改响应内容：通过下载器中间件修改响应内容，可以实现数据清洗和自定义的数据处理。
在使用Scrapy框架时，我们可以自定义下载器中间件，并将其添加到Scrapy的DOWNLOADER_MIDDLEWARES配置中。
下面是一个例子，展示如何使用下载器中间件设置随机请求头：
import random from scrapy import signals from scrapy.downloadermiddlewares.useragent import UserAgentMiddleware class RandomUserAgentMiddleware(UserAgentMiddleware): def __init__(self, user_agent=''): super(RandomUserAgentMiddleware, self).__init__(user_agent) self.user_agent_list = [ 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36', 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36', 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36', 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36', 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36', 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36', 'Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36', 'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36', 'Mozilla/5.0 (Windows NT 6.4; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36', 'Mozilla/5.0 (Windows NT 6.4; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36', 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:54.0) Gecko/20100101 Firefox/54.0', 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:55.0) Gecko/20100101 Firefox/55.0', 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0', 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:55.0) Gecko/20100101 Firefox/55.0', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:54.0) Gecko/20100101 Firefox/54.0', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:55.0) Gecko/20100101 Firefox/55.0', 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0', 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:55.0) Gecko/20100101 Firefox/55.0', 'Mozilla/5.0 (Windows NT 6.2; Win64; x64; rv:54.0) Gecko/20100101 Firefox/54.0', 'Mozilla/5.0 (Windows NT 6.2; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0' ] def process_request(self, request, spider): ua = random.choice(self.user_agent_list) if ua: request.headers.setdefault('User-Agent', ua)
以上代码中，我们自定义了一个RandomUserAgentMiddleware类，继承自UserAgentMiddleware类，并实现了process_request方法。在process_request方法中，我们随机选择一个User-Agent，并将其添加到请求头中。最后，将该中间件添加到DOWNLOADER_MIDDLEWARES配置中即可实现随机请求头的设置。
