【Python爬虫】<万物可爬>Scrayp框架

简介: 【1月更文挑战第22天】【Python爬虫】<万物可爬>Scrayp框架

 目录

Scrapy概述:

安装Scrapy:

创建一个Scrapy爬虫项目:

1.使用scrapy创建一个工程:

2.创建爬虫文件:

Scrapy项目结构:

response的属性和方法:

Scrapy架构组成:

Scrapy Shell:

安装:

应用:


Scrapy概述:

       Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。

安装Scrapy:

pip install scrapy

image.gif

pip install -I cryptography

image.gif

创建一个Scrapy爬虫项目:

1.使用scrapy创建一个工程:

scrapy startproject scrapy项目名称

image.gif

image.gif编辑

注意:项目的名称不允许使用数字开头,也不能包含中文!

2.创建爬虫文件:

注意:要在spiders文件夹中去创建爬虫文件!

cd 项目名称\项目名称\spiders

image.gif

 修改君子协定:

image.gif编辑

image.gif编辑

创建爬虫文件:

scrapy genspider 爬虫文件的名字 要爬取的网页

image.gif

import scrapy
class BaiduSpider(scrapy.Spider):
    # 爬虫的名字 用于运行爬虫的时候 url使用指:
    name = 'baidu'
    # 允许访问的域名:
    allowed_domains = ['https://www.baidu.com']
    # 起始的url地址 指的是第一次要访问的域名
    # start_urls是在allowed_domains的前面添加一个http://,在allowed_domains后面添加一个/
    start_urls = ['https://www.baidu.com/']
    # 是执行了start_urls之后,执行的方法,方法中的response 就是返回的那个对象
    # 相当于 response = urllib.request.urlopen()
    #       response = request.get()
    def parse(self, response):
        print('------------------\n'
              '------------------\n'
              '------Hello-------\n'
              '------World-------\n'
              '------------------\n'
              '------------------\n')
        pass

image.gif

执行爬虫文件:

scrapy crawl 爬虫文件文件名

image.gif

image.gif编辑

Scrapy项目结构:

image.gif编辑

response的属性和方法:

image.gif编辑

response.text 获取的是响应的字符串
response.body 获取的是二进制数据
response.xpath 可以直接是xpath方法来解析response中的内容

response.extract()

提取selector对象的data属性值
response.extract_first() 提取selector列表的第一个数据

Scrapy架构组成:

    • 引擎:自动运行,无需关注,会自动组织所有的请求对象,分发给下载器。
    • 下载器:从引擎处获取请求对象后,请求数据。
    • Spiders:Spider类定义了如何爬取某个(某些)网站,包括爬取的动作(例如:是否跟进连接)以及如何从网页的内容中提取结构化数据(爬取item)。Sprider就是定义爬取的动作及分析某个网页(或者有些网页)的地方。
    • 调度器:有自己的调度规则,无需关注。
    • 管道(Item pipeIine):最终处理数据的管道,会预留接口进行数据处理。当Item正在Spider中被收集之后,它将会被传递到Item Pipline,一些组件会按照一定的顺序执行对Item的处理。每个Item PipLine组件是实现了简单方法的Python类,他们接收到Item并通过它执行一些行为,同时也决定此Item是否继续通过pipiline或者是丢弃不再进行处理。

    以下是item pipline的一些典型应用:

      • 清理HTML数据
      • 验证爬取的数据(检查item包含某些字段)
      • 查重(并丢弃)
      • 将爬取的结果保存到数据库中

      image.gif编辑


      Scrapy Shell:

             Scrapy终端,是一个交互终端,可以在未启动Spider的情况下尝试及调试爬虫代码。其本意是用来测试和提取数据的代码,不过可以被作为正常的Python终端,在上面测试任何的Python代码。

             该终端用来测试XPath或CSS表达式,查看他们的工作方式及从网页中提取数据。在编写您的Spider时,该终端提供了交互性测试您的表达式代码的功能,免去了每次修改后运行Spider的麻烦。

             一旦熟悉Scrapy终端后,就能发现其在开发和调试Spider时发挥的巨大作用。

      安装:

      pip install ipython

      image.gif

             如果安装了IPython,Scrapy终端将会使用IPython(代替标准Python终端),IPython终端与其他相比较更为强大,提供智能化的自动补全,高亮输出,及其他特性。

      应用:

      直接在CMD中启动后,会自动打开IPython终端:

      scrapy shell URL地址(爬取指定目标地址)

      image.gif

      image.gif编辑

      image.gif编辑

      启动IPthon终端:

      image.gif编辑

      scrapy shell www.daidu.com
      scrapy shell https://www.baidu.com
      scrapy shell "https://www.baidu.com"
      scrapy shell "www.baidu.com"


      相关文章
      |
      4天前
      |
      开发框架 JSON API
      震撼发布!Python Web开发框架下的RESTful API设计全攻略,让数据交互更自由!
      【7月更文挑战第22天】在Python Web开发中,设计高效的RESTful API涉及选择框架(如Flask或Django)、明确资源及使用HTTP方法(GET, POST, PUT, DELETE)来操作数据。响应格式通常是JSON,错误处理也很重要。示例展示了使用Flask创建图书管理API,包括版本控制、文档化、安全性和性能优化是最佳实践。这样的API使数据交互更顺畅。
      24 2
      |
      8天前
      |
      数据采集 存储 Java
      如何让Python爬虫在遇到异常时继续运行
      构建健壮Python爬虫涉及异常处理、代理IP和多线程。通过try/except捕获异常,保证程序在遇到问题时能继续运行。使用代理IP(如亿牛云)防止被目标网站封锁,多线程提升抓取效率。示例代码展示了如何配置代理,设置User-Agent,以及使用SQLite存储数据。通过`fetch_url`函数和`ThreadPoolExecutor`实现抓取与重试机制。
      如何让Python爬虫在遇到异常时继续运行
      |
      3天前
      |
      数据采集 Web App开发 存储
      Python-数据爬取(爬虫)
      【7月更文挑战第24天】
      30 7
      |
      3天前
      |
      数据采集 机器学习/深度学习 算法
      Python-数据爬取(爬虫)
      【7月更文挑战第23天】
      25 5
      |
      2天前
      |
      JSON API 网络架构
      揭秘!Python Web框架下的RESTful API设计,为何成为互联网新宠?
      【7月更文挑战第24天】在互联网快速发展背景下,RESTful API以其简洁性和可扩展性成为应用间通信的首选。REST强调资源为核心,利用HTTP方法处理CRUD操作,促进前后端分离,提高开发效率。Python的Flask框架支持轻松构建RESTful API,通过路由、请求和响应机制实现。示例代码展示了如何使用Flask创建、读取和更新用户信息。Python Web框架因其丰富的工具和库,简化RESTful API开发,适应微服务架构需求,在互联网发展中扮演重要角色。
      |
      7天前
      |
      JSON 中间件 数据处理
      实践出真知:通过项目学习Python Web框架的路由与中间件设计
      【7月更文挑战第19天】探索Python Web开发,掌握Flask或Django的关键在于理解路由和中间件。路由连接URL与功能,如Flask中@app.route()定义请求响应路径。中间件在请求处理前后执行,提供扩展功能,如日志、认证。通过实践项目,不仅学习理论,还能提升构建高效Web应用的能力。示例代码展示路由定义及模拟中间件行为,强调动手实践的重要性。
      |
      10天前
      |
      机器学习/深度学习 数据采集 前端开发
      网络爬虫开发:JavaScript与Python特性的小差异
      我们以前写JavaScript的代码时,在遇到了发送请求时,都是需要去await的。 但是为什么Python代码不需要这样做呢? 这就是因为JavaScript是异步的,Python是同步的。 JavaScript就需要使用关键词await将异步代码块变为同步代码。
      |
      11天前
      |
      数据采集 存储 Web App开发
      Python-数据爬取(爬虫)
      【7月更文挑战第15天】
      45 3
      |
      5天前
      |
      API 网络架构 开发者
      探索Python Web框架的核心:路由机制详解
      【7月更文挑战第21天】Python Web开发中,Flask和Django的路由机制解析:Flask用@app.route装饰器绑定URL到视图,如`@app.route('/user/<username>')`;Django通过urls.py配置URL模式,如`path('user/<str:username>/', views.user_profile, name='user_profile')`。两者都支持静态、动态路由和HTTP方法绑定,展现路由灵活性,助力构建高效Web应用。
      13 0
      |
      5天前
      |
      缓存 监控 安全
      中间件在Python Web框架中的角色与应用场景
      【7月更文挑战第21天】中间件在Python Web开发中作为服务器与应用间的软件层,拦截、处理请求和响应,无需改动应用代码。它扩展框架功能,复用跨应用逻辑,加强安全,优化性能。如Django中间件处理请求/响应,Flask通过WSGI中间件实现类似功能,两者均在不触及核心代码前提下,灵活增强应用行为,是现代Web开发关键组件。