python-scrapy框架（二）items文件夹的用法讲解

在Scrapy框架中，items文件夹是用来存放定义数据模型的Item类的地方。Item类描述了要从网页中提取的数据的结构和字段。通过使用Item类，我们可以更方便地组织和处理爬取到的数据。下面将详细介绍如何创建Item类，并在Scrapy框架中使用items文件夹。

1.创建Item类

为了使用Item类，我们首先需要在items文件夹中创建一个Python文件，例如example_items.py。然后，在该文件中定义一个继承自scrapy.Item的自定义Item类。下面是一个示例代码：

import scrapy
 
class ExampleItem(scrapy.Item):
    # 定义字段
    title = scrapy.Field()
    author = scrapy.Field()
    content = scrapy.Field()

在这个示例中，我们创建了一个名为ExampleItem的自定义Item类，它继承自scrapy.Item类。我们通过定义title、author和content字段来描述要提取的数据的结构。

2.使用Item类

在Spider中，我们可以使用Item类来创建一个Item对象，并在解析函数中填充数据。以下是示例代码：

import scrapy
from myproject.items import ExampleItem
 
class ExampleSpider(scrapy.Spider):
    name = 'example'
    start_urls = ['http://www.example.com']
 
    def parse(self, response):
        # 创建Item对象并填充数据
        item = ExampleItem()
        item['title'] = response.css('h1::text').get()
        item['author'] = response.css('.author::text').get()
        item['content'] = response.xpath('//p/text()').getall()
        
        # 返回Item对象
        yield item

在这个示例中，我们在解析函数parse中创建了一个ExampleItem对象，并通过选择器response.css和response.xpath从网页中提取数据并填充到Item对象的字段中。

3.输出数据

在运行时，Scrapy框架将自动处理Item对象，并将它们发送给定义的输出管道(Pipeline)进行处理。输出管道负责对Item对象进行进一步的处理、持久化存储和清理。

可以配置输出管道来控制以哪种方式处理Item对象。例如，可以将Item保存到数据库、写入文件或导出到其他格式，如JSON或CSV。输出管道的配置在Scrapy项目的settings.py文件中进行。以下是一个示例配置：

ITEM_PIPELINES = {
    'myproject.pipelines.ExamplePipeline': 300,
}

3.数据的处理和存储

为了进一步处理Item对象和存储数据，我们可以创建自定义的Pipeline类。在Pipeline类中，我们可以定义一系列的处理方法，用于在Item对象经过Pipeline时进行处理。

以下是一个示例Pipeline类的代码：

class ExamplePipeline:
    def process_item(self, item, spider):
        # 处理Item对象
        # 可以将数据保存到数据库、写入文件或者进行其他操作
        return item

在这个示例中，我们创建了一个名为ExamplePipeline的自定义Pipeline类，并实现了process_item方法。在这个方法中，我们可以对Item对象进行任意处理，例如将数据保存到数据库中。

需要注意的是，Pipeline类需要在settings.py文件中进行配置，并且通过优先级控制它们的执行顺序。

总结：

items文件夹在Scrapy框架中用于存放定义数据模型的Item类。通过定义Item类和字段，我们可以更方便地组织和处理从网页中提取的数据。在Spider爬虫中，可以使用Item类创建Item对象，并通过选择器从Response对象中提取