Scrapy爬虫框架-通过Cookies模拟自动登录
熟练使用Cookies在编写爬虫程序时是非常重要的，Cookies代表用户的信息，如果需要爬取登录后网页的信息，就可以将Cookies信息保存，然后在第二次获取登录后的信息时就不需要再次登录了，直接使用Cookies进行登录即可。
1.3.1 在Scrapy中，如果想在Spider(爬虫)文件中直接定义并设置Cookies参数时，可以参考以下示例代码：
import scrapy
class CookiespiderSpider(scrapy.Spider):
# 爬虫名称
name = 'cookieSpider'
# 域名列表
allowed_domains = ['httpbin.org/get']
# 请求初始化列表
start_urls = ['http://httpbin.org/get']
# 模拟Cookies信息
cookies = {
'CookiesDemo': 'python'}
def start_requests(self):
# 发送网络请求，请求地址为start_urls列表中的第一个地址
yield scrapy.Request(url=self.start_urls[0], cookies=self.cookies, callback=self.parse)
# 响应信息
def parse(self, response):
# 打印响应结果
print(response.text)
pass
程序运行结果如下：
{
"args": {
},
"headers": {
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
"Accept-Encoding": "gzip, deflate",
"Accept-Language": "en",
"Cookie": "CookiesDemo=python",
"Host": "httpbin.org",
"User-Agent": "Scrapy/2.5.1 (+https://scrapy.org)",
"X-Amzn-Trace-Id": "Root=1-620f78be-7272752a5bfe1e53464471ff"
},
"origin": "122.143.185.159",
"url": "http://httpbin.org/get"
}
注 意
以上示例代码中的Cookies是一个模拟测试所使用的信息，并不是一个真实有效的Cookies信息，所以在使用时需要将Cookies信息设置为爬取网站对应的真实Cookies。
1.3.2 通过Cookies模拟自动登录
在Scrapy中除了使用以上示例代码中的方法设置Cookies以外，也可以使用自定义中间件的方式设置Cookies。以爬取某网站登录后的用户名信息为列，具体实现步骤如下：
1.3.2.1 首先在自己选定的文件夹(本例是’/Users/liuxiaowei/PycharmProjects/爬虫练习/Scrapy爬虫框架’)下执行命令“scrapy startproject cookiesDemo“创建项目，然后执行”cd cookiesDemo“执行“scraps genspider cookieSpider douban.com“创建爬虫文件。如下图：
1.3.2.2 在cookieSpider.py文件中编写爬虫代码，代码如下：
import scrapy
class CookiespiderSpider(scrapy.Spider):
# 爬虫名称
name = 'cookieSpider'
# 域名列表
allowed_domains = ['douban.com']
# 请求初始化列表
start_urls = ['http://douban.com/']
def start_requests(self):
# 发送网络请求，请求地址为start_urls列表中的第一个地址
yield scrapy.Request(url=self.start_urls[0], callback=self.parse)
# 响应信息
def parse(self, response):
# 打印登录后的用户名信息
print(response.xpath('//*[@id="db-global-nav"]/div/div[1]/ul/li[2]/a/span[1]/text()').extract_first())
pass
# 导入CrawlerProcess类
from scrapy.crawler import CrawlerProcess
# 导入获取项目设置信息
from scrapy.utils.project import get_project_settings
# 程序入口
if __name__=='__main__':
# 创建CrawlerProcess类对象并传入项目设置信息参数
process = CrawlerProcess(get_project_settings())
# 设置需要启动的爬虫名称
process.crawl('cookieSpider')
# 启动爬虫
process.start()
1.3.2.3 在middlewares.py文件中，定义用于格式化与设置Cookie的中间件，代码如下：
# 自定义Cookies中间件
class CookiesdemoMiddleware(object):
# 初始化
def __init__(self, cookies_str):
self.cookies_str = cookies_str
@classmethod
def from_crawler(cls, crawler):
return cls(
# 获取配置文件中的Cookies信息
cookies_str = crawler.settings.get('COOKIES_DEMO')
)
# 保持格式化后的Cookies
cookies = {
}
def process_request(self, request, spider):
# 通过'；'分割Cookies字符串
for cookie in self.cookies_str.split(';'):
# 将key与值进行分割
key, value = cookie.split('=', 1)
# 将分割后的数据保存至字典中
self.cookies.__setitem__(key, value)
# 设置格式化以后的Cookies
request.cookies = self.cookies
1.3.2.4 在middlewares.py文件中，定义随机设置请求头的中间件。代码如下：
# 导入请求头类
from fake_useragent import UserAgent
# 自定义随机请求头的中间件
class RandomHeaderMiddleware(object):
# 随机请求头对象
def __init__(self, crawler):
self.ua = UserAgent()
# 如果配置文件中不存在就使用默认的Google Chrome请求头
self.type = crawler.settings.get('RANDOM_UA_TYPE', 'chrome')
@classmethod
def from_crawler(cls, crawler):
# 返回cls()实例对象
return cls(crawler)
# 发送网络请求时调用该方法
def process_request(self, request, spider):
# 设置随机生成的请求头
request.headers.setdefault('User-Agent', getattr(self.ua, self.type))
1.3.2.5 打开settings.py 文件，在该文件中首先将DOWNLOADER_MIDDLEWARES配置信息中的默认配置信息禁用，然后添加用于处理Cookies与随机请求头的配置信息并激活，最后定义从浏览器中获取的Cookies信息，代码如下：
DOWNLOADER_MIDDLEWARES = {
# 启动自定义cookies中间件
'cookiesDemo.middlewares.CookiesdemoMiddleware': 201,
# 启动自定义随机请求头中间件
'cookiesDemo.middlewares.RandomHeaderMiddleware':202,
# 禁用默认生成的配置信息
'cookiesDemo.middlewares.CookiesdemoDownloaderMiddleware': None,
}
# 定义从浏览器中获取的Cookies
COOKIES_DEMO = '此处填写您自己登录网页后中的Cookie信息'
程序运行结果如下：
2022-02-18 21:17:49 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.douban.com/> (referer: None)
bruce_liu的帐号
2022-02-18 21:17:49 [scrapy.core.engine] INFO: Closing spider (finished)
与抓包工具里显示的登录用户信息完全一致。
