python-scrapy框架（一）Spider文件夹的用法讲解

Scrapy是一个强大的Python爬虫框架，它提供了一种简单和灵活的方式来定义和管理一个爬虫项目。在Scrapy中，Spiders文件夹起到了非常重要的作用，它是存放Spider代码的地方。在本篇文章中，我们将详细解释Scrapy框架中Spiders文件夹的用法，并提供一些示例代码来帮助你更好地理解。

Spiders文件夹位于Scrapy项目的根目录下，并且是必需的，因为它存放了用于定义爬虫规则和逻辑的代码。在Spiders文件夹中，你可以创建多个Spider类，每个Spider类用于处理一个特定的网站或网页。接下来，我们将介绍如何创建一个Spider类以及它的常用属性和方法。

1.创建Spider类

创建一个Spider类是使用Scrapy框架的第一步。在Spiders文件夹中创建一个Python文件，命名为example_spider.py，然后在该文件中定义一个Spider类。可以参考以下示例代码：

# 导入必要的库
import scrapy
 
# 定义Spider类
class ExampleSpider(scrapy.Spider):
    # 定义Spider的名字
    name = 'example'
    
    # 定义起始URL
    start_urls = ['http://www.example.com']
    
    # 解析Response数据的方法
    def parse(self, response):
        # 在这里写解析代码
        pass

在这个示例中，我们创建了一个名为ExampleSpider的Spider类，并将其name属性设置为"example"。start_urls属性包含了Spider开始爬取的URL列表。parse方法用于解析Response对象，可以在其中编写解析代码。

2.定义Spider规则

在Spider类中，你可以使用Scrapy提供的一些属性和方法来定义爬虫的行为和规则。

• name: Spider的名字，必须是唯一的。
• start_urls: Spider开始爬取的URL列表。
• allowed_domains: 允许爬取的域名列表。
• start_requests(): 生成初始的Request对象。
• parse(response): 解析Response对象并提取数据的方法。
• yield: 从parse方法中返回一个Request或者一个Item对象，用于下一步的处理。

3.编写解析代码

在Spider类的parse方法中，你可以编写解析代码来提取所需的数据。Scrapy提供了一些方便的方法来处理Response对象，如xpath()、css()和re()等。

以下示例展示了如何使用xpath()方法来提取网页中所有的链接：

def parse(self, response):
    # 使用xpath提取所有链接
    links = response.xpath('//a/@href').getall()
    for link in links:
        absolute_url = response.urljoin(link)
        yield scrapy.Request(absolute_url, callback=self.parse_page)

在这个示例中，我们使用xpath('//a/@href').getall()提取了所有的链接，并通过response.urljoin(link)将相对链接转换为绝对链接。然后，我们通过scrapy.Request创建了一个新的Request对象，并将其回调函数设置为parse_page来处理提取到的链接。

4.提取数据和跟进链接

除了解析数据外，爬虫还可以跟进链接并提取更多的数据。可以使用yield关键字返回一个新的Request对象，或者使用yield关键字返回一个Item对象。

以下示例示范了如何跟进链接并提取更多的数据：

def parse_page(self, response):
    # 提取页面的标题
    title = response.css('title::text').get()
    # 提取页面的内容
    content = response.xpath('//p/text()').getall()
    
    # 创建Item对象并返回
    item = {
        'title': title,
        'content': content
    }
    yield item

在这个示例中，我们定义了一个新的方法`parse_page(self, response)来处理跟进链接。在该方法中，我们使用css()方法提取页面的标题，使用xpath()方法提取页面的内容。然后，我们创建了一个包含标题和内容的Item对象，并通过yield`关键字返回。

5.运行

当Spider类编写完成后，可以通过命令行或者Python脚本来运行爬虫。在命令行中，切换到Scrapy项目的根目录，然后执行以下命令：

scrapy crawl example

其中，example是Spider的名字。如果一切顺利，Scrapy将会开始爬取并按照定义的规则提取数据。

除了以上的基本用法，Spiders文件夹还可以包含其他辅助模块、配置文件、中间件等。这些可以根据项目需求来进行灵活配置。

需要注意的是，Scrapy提供了丰富的文档和示例代码，可以在官方网站（https://docs.scrapy.org/）中进行查阅和学习。熟悉Scrapy的基本用法和理解Spiders文件夹的运作方式，将会为你开发强大的提供很大帮助。

总结：

Spiders文件夹在Scrapy框架中起到了至关重要的作用，它是存放Spider代码的地方，用于定义爬虫的规则和逻辑。通过创建Spider类，在其中定义起始URL、解析Response数据的方法，使用xpath、css、re等方法提取数据，并通过yield关键字返回新的Request或Item对象，最终实现爬取和数据提取的功能。运行爬虫时，可以通过命令行或Python脚本来执行。除了基本用法外，Spiders文件夹还可以包含其他辅助模块和配置文件，以适应不同的项目需求。通过学习和掌握Scrapy的文档和示例，你将能够更好地利用Spiders文件夹来开发高效的Python爬虫。