「Python」爬虫-9.Scrapy框架的初识-公交信息爬取

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
全局流量管理 GTM,标准版 1个月
简介: 本文将讲解如何使用scrapy框架完成北京公交信息的获取。

持续创作,加速成长!这是我参与「掘金日新计划 · 10 月更文挑战」的第23天, 点击查看活动详情


Spider实战

本文将讲解如何使用scrapy框架完成北京公交信息的获取。

目标网址为https://beijing.8684.cn/

在前文的爬虫实战中,已经讲解了如何使用requests和bs4爬取公交站点的信息,感兴趣的话可以先阅读一下 「Python」爬虫实战系列-北京公交线路信息爬取(requests+bs4) - 掘金 (juejin.cn),在回来阅读这篇文章🫠。

关于爬虫系列文章,这里浅浅的罗列一下,欢迎阅读😶‍🌫️😶‍🌫️😶‍🌫️:

「Python」爬虫-1.入门知识简介 - 掘金 (juejin.cn)

「Python」爬虫-2.xpath解析和cookie,session - 掘金 (juejin.cn)

「Python」爬虫-3.防盗链处理 - 掘金 (juejin.cn)

「Python」爬虫-4.selenium的使用 - 掘金 (juejin.cn)

「Python」爬虫-5.m3u8(视频)文件的处理 - 掘金 (juejin.cn)

「Python」爬虫-6.爬虫效率的提高 - 掘金 (juejin.cn)

「Python」爬虫-7.验证码的识别 - 掘金 (juejin.cn)

「Python」爬虫-8.断点调试-网易云评论爬取 - 掘金 (juejin.cn)


1.相关技术介绍

scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,可以应用在包括数据挖掘,信息处理或存储历史数据等一列的程序中。

scrapy的操作流程如下:

1.选择网站->2.创建一个scrapy项目->3.创建一个spider->4.定义item ->5.编写spider->6.提取item->7.存取爬取的数据->8.执行项目。

下面将依次按照此流程来讲解scrapy框架的使用:

1.选择网站

本文选取的目标url为https://beijing.8684.cn/,通过之前的实验实战文章,相信读者对该网站已经有了初步的认识。

这里同样我们所需要爬取的信息为公交线路名称、公交的运营范围、运行时间、参考票价、公交所属的公司以及服务热线、公交来回线路的途径站点。

2.创建一个scrapy项目

在开始爬取之前,需要创建一个新的scrapy项目,切换到该项目路径的目录下,并执行scrapy startproject work,

(其中work为项目的名字,可以自拟,叫啥都可

观察work目录下的结构如下所示:

└─work
    │  scrapy.cfg  # 项目配置文件
    │
    └─work   # 该项目的python模块
        │  items.py  # 定义爬取的数据结构
        │  middlewares.py  # 定义爬取时的中间件
        │  pipelines.py  # 数据管道,将数据存入本地文件或存入数据库
        │  settings.py  # 项目的设置文件
        │  __init__.py
        │
        └─spiders  # 放置spider代码的目录
                __init__.py

3.创建一个spider。

work目录下,使用genspider语句,创建一个spider。格式如下:

scrapy genspider spider_name url

spider_name为自己程序的名字,自己为自己程序取名,不过分吧?

url为自己爬取的目标网址,本文为https://beijing.8684.cn/

4.定义item

item是保存爬取到的数据容器,使用方法和python字典类似,并提供了额外保护机制来避免拼写错误导致的未定义字段错误。

首先,根据从目标网站获取到的数据对item 进行建模,并在item中定义相应的字段,编辑work目录中的items.py文件。比如:

import scrapy
class MyItem(scrapy.Item):
    title = scrapy.Field()
    desc = scrapy.Field()

通过定义item,可以很方面的使用scrapy的其他方法,而这些方法需要知道item 的定义。

5.编写spider

spider是用户编写用于从单个网站爬取数据的类,其中包含了一个用于下载的初始url,以及如何跟进网页中的链接和分析页面中的内容,提取生成item的方法。

为了创建一个spider,必须继承scrapy.Spider类,并且必须定义以下三个属性:

  • name:用于区别Spider,该名字必须唯一,不可以为不同的spider设定相同的名字
  • start_urls: 包含了Spider在启动时进行爬取的url列表,因此,第一个被获取到的页面将是其中之一,后续的url则从初始的url获取到的数据中获取。
  • parse(): 是spider的一个方法,被调用时,每个初始url完成下载后生成的Response对象将会作为唯一的参数传递给该函数,该方法负责解析返回的数据(response data),提取数据(生成item)以及生成需要进一步处理的url的Request对象

6.提取item

从网页中提取数据的方法有很多,正如前面实验所用到的requests或者selenium等,scrapy使用了一种基于xpath和css表达式机制:scrapy selectors,这里给出常用xpath表达式对应的含义:

/html/head/title:选择html文档中<head>标签内的<title>元素。

/html/head/title/text():选择上面提到的<title>元素的文字。

//td:选择所有的<td>元素

//div[@class="mine"]:选择所有具有class="mine"属性的div元素。

为了配合xpath,scrapy除了提供selector之外,还提供了其他方法来避免每次从response中提取数据时生成selector的麻烦。

selector有四个基本的方法;

  • xpath():传入xpath表达式,返回该表示对应所有节点的selector list列表
  • css():传入css表达式,返回该表达式对应的所有节点的selector list列表
  • extract():序列化该节点为unicode字符串并返回list列表
  • re():根据传入的正则表达式对数据进行提取,返回unicode字符串list列表

7.存取爬取的数据

scrapy还集成了存储数据的方法,使用命令如下:

scrapy crawl work -o items.json

该命令将采用json格式对爬取的数据进行序列化,并生成对应的items.json文件。对于小规模的项目,这种存储方式较为灵活,如果对爬取到的item做更多更为复杂的操作就需要编写pipelines.py

8.执行项目

到当前项目的根目录,执行以下命令即可启动spider:

scrapy crawl work

scrapy为spider的start_urls属性中的每一个url创建了scrapy.Request对象,并将parse方法作为回调函数callback赋值给了Request.

Request对象经过调度,执行生成scrapy.HTTP.Response对象并送回给spider.parse()方法。

cd 到 /work/work/目录下,执行scrapy crawl BusCrawl也可以启动spider。


2.整体爬取过程分析

2.1 settings.py

根据上述相关技术介绍,新建一个work项目,并执行

genspider BusCrawl https://beijing.8684.cn/

通过genspider之后,就会发现项目的BusCrawl.py中自动为我们已经添加了一些代码:

import scrapy

class BuscrawlSpider(scrapy.Spider):
    name = 'BusCrawl'
    allowed_domains = ['beijing.8684.cn']
    start_urls = ['http://beijing.8684.cn']

    def __init__(self, name=None, **kwargs):
        super().__init__(name=None, **kwargs)

    def start_requests(self):
        pass
    def parse(self, response):
        pass

这里由于我们的公交线路连接需要拼接list?,所以在本文中start_urls直接修改为字符串的形式。

settings.py默认内容如下:

BOT_NAME = 'work'

SPIDER_MODULES = ['work.spiders']
NEWSPIDER_MODULE = 'work.spiders'


# Crawl responsibly by identifying yourself (and your website) on the user-agent
#USER_AGENT = 'work (+http://www.yourdomain.com)'

# Obey robots.txt rules
ROBOTSTXT_OBEY = False
# LOG_LEVEL = 'WARNING'

items.py默认内容如下:

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html


# useful for handling different item types with a single interface
from itemadapter import ItemAdapter


class BusCrawlPipeline:
    def process_item(self, item, spider):
        return item

然后修改settings.pyrobots协议为False以及粘贴自己的headers

robots协议本来是爬虫应该遵循的,但是如果遵循的话,相信大部分信息都设置为不可爬取,那么,就爬不到啥东西了

本文的具体设置为如下:

ROBOTSTXT_OBEY = False

DEFAULT_REQUEST_HEADERS = {
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  'Accept-Language': 'en',
  "User-Agent": "xxx"
}
毕竟大部分的网站信息要是遵循robots协议好像都爬取不了。
user-agent直接自己去复制就好了,方法这里不再赘述。

middlewares.py本文不涉及,这里省略介绍。

2.2 BusCrawl.py

接下来需要写BusCrawl.py,可以看到scrapy已经为我们写好了部分函数,我们需要根据自己的需求进一步完善相关的代码文件。

2.2.1 start_requests(self)

先将start_urls切换为字符串的形式,因为我们爬取的具体信息url需要进一步构造。根据之前的分析,以每个数字或者字母开头的页面是直接在https://beijing.8684.cn/后加上list?。所以start_requests()函数如下:

def start_requests(self):
    for page in range(3):
        url = '{url}/list{page}'.format(url=self.start_urls, page=page + 1)
        yield FormRequest(url, callback=self.parse_index)

其中yield函数就是函数执行到这就结束了,并调用了FormRequest()函数,这个需要引入from scrapy import FormRequest,然后将对页面进行具体分析的函数名传递给callback,这样就可以调用parse_index函数了。(parse_index其实就是解析函数

注意这里的parse_index名字不是固定的,这里只是根据callback来调用具体的函数。

运行程序之后是可以看到在控制台输出了我们的list链接信息。

2.2.2 parse_index(self, response)

然后根据https://beijing.8684.cn/list?设计perse_index提取到每条具体线路的href中的详情页面。parse_index函数设计如下:

def parse_index(self, response):
    hrefs = response.xpath('//div[@class="list clearfix"]/a/@href').extract()
    for href in hrefs:
        detail_url = urljoin(self.start_urls, href)
        yield Request(detail_url, callback=self.parse_detail)

这里需要注意:提取每个list里面的线路具体链接的时候直接复制的xpath代码用不了,需要根据class名才能提取到,通过extract()即可提取到href的信息。

response.xpath('//div[@class="list clearfix"]/a/@href').extract()

extract():这个方法返回的是一个数组list

extract_first():这个方法返回的是一个string字符串,是list数组里面的第一个字符串。

yield Request(...)之后就可以看到详情界面的链接了,说明我们的函数写的十分正确!

使用yield之后,会默认在控制台打印信息,而不需要我们自己手动print打印了。

2.2.3 parse_detail(self, response)

提取到每条公交线路的详情页面的url之后,就可以开始对详情页面进行信息提取了。这里 的分析方法和之前的bs4或者xpath解析差不多,稍微改一改就可以直接拿过来用了。

这里遇到的问题和之前的类似,在提取公交的站点信息的时候,仍然会出现中间路线出现了终点站或起始站的情况,这里的解决方法和之前类似->遍历中间的站点,然后删去起始站点。

未处理前爬取的站点信息图如下:

具体的解析页面的函数设计如下:

def parse_detail(self, response):
    title = response.xpath('//h1[@class="title"]/span/text()').extract_first()  # 线路名称
    category = response.xpath('//a[@class="category"]/text()').extract_first()  # 线路类别
    time = response.xpath('//ul[@class="bus-desc"]/li[1]/text()').extract_first()  # 开车时间
    price = response.xpath('//ul[@class="bus-desc"]/li[2]/text()').extract_first()  # 参考票价
    company = response.xpath('//ul[@class="bus-desc"]/li[3]/a/text()').extract()  # 所属公司

    trip = response.xpath('//div[@class="trip"]/text()').extract()  # 开车方向

    path_go, path_back = None, None

    begin_station, end_station = trip[0].split('—')

    if len(trip) > 1:
        path_go = response.xpath('//div[@class="service-area"]/div[2]/ol/li/a/text()').extract()
        path_back = response.xpath('//div[@class="service-area"]/div[4]/ol/li/a/text()').extract()

        go_list = [begin_station] + [station for station in path_go[1:-1] if station != end_station] + [end_station]
        back_list = [end_station] + [station for station in path_back[1:-1] if station != begin_station] + [
            begin_station]

        path_go = {trip[0]: '->'.join(go_list)}
        path_back = {trip[1]: '->'.join(back_list)}
    else:
        path_go = response.xpath('//div[@class="bus-lzlist mb15"]/ol/li/a/text()').extract()
        go_list = [begin_station] + [station for station in path_go[1:-1] if station != end_station] + [end_station]
        path_go = {trip[0]: '->'.join(go_list)}

    item = {'title': title,
            'category': category,
            'time': time,
            'price': price,
            'company': company,
            'trip': trip,
            'path_go': path_go,
            'path_back': path_back,
            }
    bus_info = WorkItem()  # 实例化item
    for field in bus_info.fields:
        bus_info[field] = eval(field)
    yield bus_info

需要注意的是,并不是所有的公交线路的起始站点和终点站都不一样。在处理信息的过程中出现了起始站和终点站相同的情况,如下图的五间楼-五间楼

这里需要对其进行进一步的处理,这里直接添加的if判断,具体实现见上面的代码。。

bus_info = WorkItem()  # 实例化item
    for field in bus_info.fields:
        bus_info[field] = eval(field)
    yield bus_info

这一段代码可以抽象为一个模板,将自己需要提取的信息放到bus_info里面即可。然后yield bus_info。前面也提到过item的使用方法和字典类似。

2.3 items.py

接下来写`items.py:

items.py中的信息名称需要和parse_detail中的实例化的item名对应起来。

本文具体函数设计如下:

class WorkItem(scrapy.Item):
    title = scrapy.Field()
    category = scrapy.Field()
    time = scrapy.Field()
    price = scrapy.Field()
    company = scrapy.Field()
    trip = scrapy.Field()
    path_go = scrapy.Field()
    path_back = scrapy.Field()
🪄tips:

scrapy.Field(),类似于字典。在spider中实例化,即parse_detail()bus_info = WorkItem()实例化,然后取值的形式类似于字典,即代码中的bus_info[field] = eval(field)

2.4 pipelines.py

接下来需要设计写入到数据库的pipelines.py。本文以写入本地的MongoDB数据库为例,MongoDB数据库的版本为6.x。

首先在settings.py中添加

# 启用pipeline
ITEM_PIPELINES = {
   'work.pipelines.MyMongoPipeline': 300,
}

# 数据库相关设置
DB_HOST = 'localhost'
DB_NAME = 'bus_spider'
DB_COLLECTION_NAME = 'ipad'

ITEM_PIPELINES中的300是分配给每个类的整型值,确定了他们运行的顺序,item按数字从低到高的顺序,通过pipeline,通常将这些数字定义在0-1000范围内(0-1000随意设置,数值越低,组件的优先级越高)。

item pipiline组件是一个独立的Python类,其中process_item()方法必须实现,item pipeline一般应用在:

  • 验证爬取的数据(检查item包含某些字段,比如说name字段)
  • 查重(并丢弃)
  • 将爬取结果保存到文件或者数据库中

这里设计的pipelines.py是将数据存储到本地的MongoDB中,py连接MongoDB就不用详细说了,具体设计如下:

from pymongo import MongoClient
from .settings import *


class MyMongoPipeline:
    def __init__(self):
        self.client = MongoClient(host=DB_HOST)
        self.db = self.client.get_database(DB_NAME)
        self.collection = self.db[DB_COLLECTION_NAME]

    def process_item(self, item, spider):
        # 这个方法必须返回一个 Item 对象,被丢弃的item将不会被之后的pipeline组件所处理
        self.collection.insert(dict(item))
        return item

    def close_spider(self, spider):
        self.client.close()

如果想将数据存为json的格式,那么可以参考以下代码:

import json

class ItcastJsonPipeline(object):

    def __init__(self):
        self.file = open('xxx.json', 'wb')

    def process_item(self, item, spider):
        content = json.dumps(dict(item), ensure_ascii=False) + "\n"  # 这里先对item进行了转型-变为dict
        self.file.write(content)
        return item

    def close_spider(self, spider):
        self.file.close()

3.代码部分

3.1 运行界面

爬取数据成功界面

mongodb数据查询界面

3.2 具体代码

# Buscrawl.py
import scrapy
from scrapy import FormRequest, Request
import logging

from urllib.parse import urljoin
from ..items import WorkItem

logging.getLogger("filelock").setLevel(logging.INFO)


class BuscrawlSpider(scrapy.Spider):
    name = 'BusCrawl'
    allowed_domains = ['beijing.8684.cn']
    start_urls = 'http://beijing.8684.cn'

    def __init__(self, name=None, **kwargs):
        super().__init__(name=None, **kwargs)

    def start_requests(self):
        for page in range(3):
            url = '{url}/list{page}'.format(url=self.start_urls, page=page + 1)
            yield FormRequest(url, callback=self.parse_index)

    def parse_index(self, response):
        hrefs = response.xpath('//div[@class="list clearfix"]/a/@href').extract()
        for href in hrefs:
            detail_url = urljoin(self.start_urls, href)
            yield Request(detail_url, callback=self.parse_detail)

    def parse_detail(self, response):
        title = response.xpath('//h1[@class="title"]/span/text()').extract_first()  # 线路名称
        category = response.xpath('//a[@class="category"]/text()').extract_first()  # 线路类别
        time = response.xpath('//ul[@class="bus-desc"]/li[1]/text()').extract_first()  # 开车时间
        price = response.xpath('//ul[@class="bus-desc"]/li[2]/text()').extract_first()  # 参考票价
        company = response.xpath('//ul[@class="bus-desc"]/li[3]/a/text()').extract()  # 所属公司

        trip = response.xpath('//div[@class="trip"]/text()').extract()  # 开车方向

        path_go, path_back = None, None

        begin_station, end_station = trip[0].split('—')

        if len(trip) > 1:
            path_go = response.xpath('//div[@class="service-area"]/div[2]/ol/li/a/text()').extract()
            path_back = response.xpath('//div[@class="service-area"]/div[4]/ol/li/a/text()').extract()

            go_list = [begin_station] + [station for station in path_go[1:-1] if station != end_station] + [end_station]
            back_list = [end_station] + [station for station in path_back[1:-1] if station != begin_station] + [
                begin_station]

            path_go = {trip[0]: '->'.join(go_list)}
            path_back = {trip[1]: '->'.join(back_list)}
        else:
            path_go = response.xpath('//div[@class="bus-lzlist mb15"]/ol/li/a/text()').extract()
            go_list = [begin_station] + [station for station in path_go[1:-1] if station != end_station] + [end_station]
            path_go = {trip[0]: '->'.join(go_list)}

        item = {'title': title,
                'category': category,
                'time': time,
                'price': price,
                'company': company,
                'trip': trip,
                'path_go': path_go,
                'path_back': path_back,
                }
        bus_info = WorkItem()
        for field in bus_info.fields:
            bus_info[field] = eval(field)
        yield bus_info
# items.py
import scrapy

class WorkItem(scrapy.Item):
    title = scrapy.Field()
    category = scrapy.Field()
    time = scrapy.Field()
    price = scrapy.Field()
    company = scrapy.Field()
    trip = scrapy.Field()
    path_go = scrapy.Field()
    path_back = scrapy.Field()
# pipelines.py
from pymongo import MongoClient
from .settings import *


class MyMongoPipeline:
    def __init__(self):
        self.client = MongoClient(host=DB_HOST)
        self.db = self.client.get_database(DB_NAME)
        self.collection = self.db[DB_COLLECTION_NAME]

    def process_item(self, item, spider):
        self.collection.insert(dict(item))
        return item

    def close_spider(self, spider):
        self.client.close()
# settings.py

BOT_NAME = 'work'

SPIDER_MODULES = ['work.spiders']
NEWSPIDER_MODULE = 'work.spiders'
ROBOTSTXT_OBEY = False

DEFAULT_REQUEST_HEADERS = {
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  'Accept-Language': 'en',
  "User-Agent": "xxx"
}

ITEM_PIPELINES = {
   'work.pipelines.MyMongoPipeline': 300,
}

DB_HOST = 'localhost'
DB_NAME = 'bus_spider'
DB_COLLECTION_NAME = 'ipad'

4.可能出现的报错:

1.找不到WorkPipeline

原因:自己修改了pipelines.py里面的类名,但是没有修改settings.py里面的pipelines名称。

解决方法settings.py中的ITEM_PIPELINES里面的.MyMongoPipeline一定要和pipelines.py里面的类名对上。

ITEM_PIPELINES = {
   'work.pipelines.MyMongoPipeline': 300,
}

2. [filelock] DEBUG: Attempting to acquire lock 4469884432 on ...... __a22fb8__tldextract-3.3.1/

原因:其实不是报错,如果不想在控制台的看到的话,直接设置一下logging的打印级别即可。

解决方法

import logging

logging.getLogger("filelock").setLevel(logging.INFO)

参考:https://github.com/scrapy/scrapy/issues/5555

3..raise KeyError(f"{self.__class__.__name__} does not support field: {key}")

原因:KeyError: 'WorkItem does not support field: _id'

解决方法:将item转为dict类型即可,即在插入数据时使用:

self.collection.insert(dict(item))

参考链接

1.https://blog.csdn.net/m0_59483606/article/details/122073900

2.https://blog.csdn.net/songrenqing/article/details/80665966

相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。 &nbsp; 相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
相关文章
|
1月前
|
数据采集 存储 JSON
Python网络爬虫:Scrapy框架的实战应用与技巧分享
【10月更文挑战第27天】本文介绍了Python网络爬虫Scrapy框架的实战应用与技巧。首先讲解了如何创建Scrapy项目、定义爬虫、处理JSON响应、设置User-Agent和代理,以及存储爬取的数据。通过具体示例,帮助读者掌握Scrapy的核心功能和使用方法,提升数据采集效率。
86 6
|
1月前
|
缓存 监控 Linux
Python 实时获取Linux服务器信息
Python 实时获取Linux服务器信息
|
22天前
|
数据采集 前端开发 JavaScript
除了网页标题,还能用爬虫抓取哪些信息?
爬虫技术可以抓取网页上的各种信息,包括文本、图片、视频、链接、结构化数据、用户信息、价格和库存、导航菜单、CSS和JavaScript、元数据、社交媒体信息、地图和位置信息、广告信息、日历和事件信息、评论和评分、API数据等。通过Python和BeautifulSoup等工具,可以轻松实现数据抓取。但在使用爬虫时,需遵守相关法律法规,尊重网站的版权和隐私政策,合理控制请求频率,确保数据的合法性和有效性。
|
1月前
|
数据采集 前端开发 中间件
Python网络爬虫:Scrapy框架的实战应用与技巧分享
【10月更文挑战第26天】Python是一种强大的编程语言,在数据抓取和网络爬虫领域应用广泛。Scrapy作为高效灵活的爬虫框架,为开发者提供了强大的工具集。本文通过实战案例,详细解析Scrapy框架的应用与技巧,并附上示例代码。文章介绍了Scrapy的基本概念、创建项目、编写简单爬虫、高级特性和技巧等内容。
63 4
|
1月前
|
存储 数据采集 数据库
用 Python 爬取淘宝商品价格信息时需要注意什么?
使用 Python 爬取淘宝商品价格信息时,需注意法律和道德规范,遵守法律法规和平台规定,避免非法用途。技术上,可选择 Selenium 和 Requests 库,处理反爬措施如 IP 限制、验证码识别和请求频率控制。解析页面数据时,确定数据位置并清洗格式。数据存储可选择 CSV、Excel、JSON 或数据库,定期更新并去重。还需进行错误处理和日志记录,确保爬虫稳定运行。
|
1月前
|
数据采集 Web App开发 iOS开发
如何利用 Python 的爬虫技术获取淘宝天猫商品的价格信息?
本文介绍了使用 Python 爬虫技术获取淘宝天猫商品价格信息的两种方法。方法一使用 Selenium 模拟浏览器操作,通过定位页面元素获取价格;方法二使用 Requests 和正则表达式直接请求页面内容并提取价格。每种方法都有详细步骤和代码示例,但需注意反爬措施和法律法规。
|
2月前
|
Python
Python实现系统基础信息
Python实现系统基础信息
33 0
|
4月前
|
数据采集 存储 中间件
Python进行网络爬虫:Scrapy框架的实践
【8月更文挑战第17天】网络爬虫是自动化程序,用于从互联网收集信息。Python凭借其丰富的库和框架成为构建爬虫的首选语言。Scrapy作为一款流行的开源框架,简化了爬虫开发过程。本文介绍如何使用Python和Scrapy构建简单爬虫:首先安装Scrapy,接着创建新项目并定义爬虫,指定起始URL和解析逻辑。运行爬虫可将数据保存为JSON文件或存储到数据库。此外,Scrapy支持高级功能如中间件定制、分布式爬取、动态页面渲染等。在实践中需遵循最佳规范,如尊重robots.txt协议、合理设置爬取速度等。通过本文,读者将掌握Scrapy基础并了解如何高效地进行网络数据采集。
223 6
|
4月前
|
数据采集 存储 JSON
Python爬虫开发:BeautifulSoup、Scrapy入门
在现代网络开发中,网络爬虫是一个非常重要的工具。它可以自动化地从网页中提取数据,并且可以用于各种用途,如数据收集、信息聚合和内容监控等。在Python中,有多个库可以用于爬虫开发,其中BeautifulSoup和Scrapy是两个非常流行的选择。本篇文章将详细介绍这两个库,并提供一个综合详细的例子,展示如何使用它们来进行网页数据爬取。
|
7月前
|
数据采集 存储 中间件
Python高效爬虫——scrapy介绍与使用
Scrapy是一个快速且高效的网页抓取框架,用于抓取网站并从中提取结构化数据。它可用于多种用途,从数据挖掘到监控和自动化测试。 相比于自己通过requests等模块开发爬虫,scrapy能极大的提高开发效率,包括且不限于以下原因: 1. 它是一个异步框架,并且能通过配置调节并发量,还可以针对域名或ip进行精准控制 2. 内置了xpath等提取器,方便提取结构化数据 3. 有爬虫中间件和下载中间件,可以轻松地添加、修改或删除请求和响应的处理逻辑,从而增强了框架的可扩展性 4. 通过管道方式存储数据,更加方便快捷的开发各种数据储存方式