Scrapy 是一个用 Python 编写的开源框架，它可以帮助你快速地创建和运行爬虫项目，从网页中提取结构化的数据。Scrapy 有以下几个特点：
- 高性能：Scrapy 使用了异步网络库 Twisted，可以处理大量的并发请求，提高爬取效率。
- 灵活：Scrapy 提供了丰富的组件和中间件，可以让你定制和扩展爬虫的功能，例如设置代理、更换 User-Agent、处理重定向、过滤重复请求等。
- 易用：Scrapy 采用了一种声明式的编程风格，让你只需要关注数据的提取逻辑，而不用过多地关心底层的细节。
- 可扩展：Scrapy 支持多种数据存储方式，如 JSON、CSV、XML、数据库等。Scrapy 还可以和其他框架或工具集成，如 Selenium、Splash、Scrapyd、Scrapy-Redis 等。
下面我们来看一个简单的 Scrapy 爬虫项目的案例，它的目标是从 [豆瓣电影] 网站上爬取电影信息，并保存为 JSON 文件。
首先，我们需要安装 Scrapy 框架。在命令行中输入以下命令：
# 安装 Scrapy
pip install scrapy
然后，我们需要创建一个 Scrapy 项目。在命令行中输入以下命令：
# 创建一个名为 douban 的 Scrapy 项目
scrapy startproject douban
这样就会在当前目录下生成一个名为 douban 的文件夹，它包含了以下文件和子文件夹：
douban/
scrapy.cfg # 配置文件
douban/ # 项目模块
__init__.py
items.py # 定义数据模型的文件
middlewares.py # 定义中间件的文件
pipelines.py # 定义数据处理管道的文件
settings.py # 定义项目设置的文件
spiders/ # 存放爬虫代码的文件夹
__init__.py
接下来，我们需要编写爬虫代码。在 spiders 文件夹下创建一个名为 movie.py 的文件，并输入以下代码：
# 导入 scrapy 模块
import scrapy
# 导入 items 模块，用于定义数据模型
from douban.items import DoubanItem
# 定义一个名为 MovieSpider 的类，继承自 scrapy.Spider 类
class MovieSpider(scrapy.Spider):
# 定义爬虫的名称，用于在命令行中调用
name = 'movie'
# 定义爬虫的起始 URL 列表
start_urls = ['https://movie.douban.com/top250']
# 定义爬虫的解析方法，用于处理响应内容
def parse(self, response):
# 使用 CSS 选择器提取电影列表
movies = response.css('.grid_view li')
# 遍历每部电影
for movie in movies:
# 创建一个 DoubanItem 对象，用于存储数据
item = DoubanItem()
# 使用 CSS 选择器提取电影标题，并赋值给 item 的 title 属性
item['title'] = movie.css('.hd a span::text').get()
# 使用 CSS 选择器提取电影评分，并赋值给 item 的 rating 属性
item['rating'] = movie.css('.star .rating_num::text').get()
# 使用 yield 关键字返回 item 对象，交给 pipelines 处理
yield item
# 使用 CSS 选择器提取下一页的 URL
next_url = response.css('.paginator .next a::attr(href)').get()
# 如果存在下一页的 URL，使用 yield 关键字返回一个 Request 对象，交给 scrapy 下载并解析
if next_url:
yield scrapy.Request(url=response.urljoin(next_url), callback=self.parse)
接着，我们需要定义数据模型。在 items.py 文件中输入以下代码：
# 导入 scrapy 模块
import scrapy
# 定义一个名为 DoubanItem 的类，继承自 scrapy.Item 类
class DoubanItem(scrapy.Item):
# 定义一个名为 title 的字段，用于存储电影标题
title = scrapy.Field()
# 定义一个名为 rating 的字段，用于存储电影评分
rating = scrapy.Field()
然后，我们需要定义数据处理管道。在 pipelines.py 文件中输入以下代码：
# 导入 json 模块，用于将数据转换为 JSON 格式
import json
# 定义一个名为 DoubanPipeline 的类，继承自 object 类
class DoubanPipeline(object):
# 定义一个初始化方法，用于打开文件
def __init__(self):
# 打开一个名为 movies.json 的文件，以写入模式，并赋值给 self.file 属性
self.file = open('movies.json', 'w')
# 写入一个左方括号，表示开始一个 JSON 数组
self.file.write('[')
# 定义一个处理 item 的方法，用于将 item 转换为 JSON 格式，并写入文件
def process_item(self, item, spider):
# 将 item 转换为 JSON 格式，并赋值给 line 变量
line = json.dumps(dict(item)) + ',\n'
# 将 line 写入文件
self.file.write(line)
# 返回 item 对象，交给下一个管道处理
return item
# 定义一个关闭文件的方法，用于在爬虫结束时关闭文件
def close_spider(self, spider):
# 在文件末尾写入一个右方括号，表示结束一个 JSON 数组
self.file.write(']')
# 关闭文件
self.file.close()
最后，我们需要设置代理信息。在 settings.py 文件中输入以下代码：
# 导入 base64 模块，用于对代理验证信息进行编码
import base64
# 亿牛云 爬虫代理加强版
# 设置代理服务器的主机名和端口号
proxyHost = "www.16yun.cn"
proxyPort = "3111"
# 设置代理验证信息的用户名和密码
proxyUser = "16YUN"
proxyPass = "16IP"
# 对代理验证信息进行编码，并赋值给 proxyAuth 变量
proxyAuth = "Basic " + base64.urlsafe_b64encode(bytes((proxyUser + ":" + proxyPass), "ascii")).decode("utf8")
# 设置 HTTP 代理中间件的参数，使用 proxyAuth 和 proxyHost:proxyPort 作为代理地址
DOWNLOADER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 100,
'douban.middlewares.ProxyMiddleware': 101,
}
# 在 middlewares.py 文件中定义 ProxyMiddleware 类，用于设置请求的代理地址
class ProxyMiddleware(object):
# 定义一个处理请求的方法，用于在请求中添加代理地址信息
def process_request(self, request, spider):
# 在请求头中添加代理验证信息和代理地址信息
request.headers['Proxy-Authorization'] = proxyAuth
request.meta['proxy'] = "http://" + proxyHost + ":" + proxyPort
现在我们的 Scrapy 爬虫项目就完成了。我们可以在命令行中输入以下命令来运行爬虫：
# 运行名为 movie 的爬虫，并将日志输出到 log.txt 文件中
scrapy crawl movie -s LOG_FILE=log.txt
运行结束后，我们可以在当前目录下找到一个名为 movies.json 的文件，它包含了从豆瓣电影网站上爬取的电影信息。
这个案例展示了如何使用 Scrapy 框架构建一个简单的爬虫项目，从网页中提取数据并保存到文件中。通过配置、编写爬虫代码、定义数据模型和数据处理管道，你可以灵活地构建各种爬虫应用。
