scrapy简书整站爬取

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: 数据同步及异步存储到MySQL对于ajax 加载的数据用selenium辅助加载解析整站爬取提取url规则jianshu.py 文件import scrapyfrom scrapy.
  • 数据同步及异步存储到MySQL
  • 对于ajax 加载的数据用selenium辅助加载解析
  • 整站爬取提取url规则

jianshu.py 文件

import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from jianshu_spider.items import JianshuSpiderItem


class JianshuSpider(CrawlSpider):
    name = 'jianshu'
    allowed_domains = ['jianshu.com']
    start_urls = ['https://www.jianshu.com/']

    rules = (
        # 观察url发现,前缀都一样,后面是12个数字加小写字母的组合
        Rule(LinkExtractor(allow=r'.*/p/[0-9a-z]{12}.*'), callback='parse_detial', follow=True),
    )
    def parse_detial(self, response):
        title = response.xpath('//h1[@class="title"]/text()').extract_first('') # 提取标题
        avatar = response.xpath('//a[@class="avatar"]/img/@src').extract_first('') # 提取头像
        author = response.xpath('//span[@class="name"]/a/text()').extract_first('') # 提取作者
        publish_time = response.xpath('//span[@class="publish-time"]/text()').extract_first('') # 提取发布时间
        content = response.xpath('//div[@class="show-content"]').get() # 提取文章内容
        # 提取文章ip,也就是url上面的不一样的字符串
        process_url = response.url.split('?')[0] # 以问号分割取前一部分
        article_id = process_url.split('/')[-1] # 以 ‘/’ 分割获取最后一个字符串即为文章的id
        origin_url = response.url
        print(title)
        item = JianshuSpiderItem(title=title,avatar=avatar,author=author,publish_time=publish_time,
                             content=content,article_id=article_id,origin_url=origin_url)
        return item

item.py文件

import scrapy


class JianshuSpiderItem(scrapy.Item):
   # define the fields for your item here like:
   # name = scrapy.Field()
   title = scrapy.Field()
   avatar = scrapy.Field()
   author = scrapy.Field()
   publish_time = scrapy.Field()
   content = scrapy.Field()
   article_id = scrapy.Field()
   origin_url = scrapy.Field()

settings.py文件

ROBOTSTXT_OBEY = False
DOWNLOAD_DELAY = 1
DEFAULT_REQUEST_HEADERS = {
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  'Accept-Language': 'en',
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
}
DOWNLOADER_MIDDLEWARES = {
   #'jianshu_spider.middlewares.JianshuSpiderDownloaderMiddleware': 543,
    'jianshu_spider.middlewares.SeleniumDownloadMiddleware': 543,

}
ITEM_PIPELINES = {
   'jianshu_spider.pipelines.JianshuSpiderPipeline': 300,
    #'jianshu_spider.pipelines.JianshuTwistedPipeline': 300,

}

pipelines.py文件

import pymysql
from twisted.enterprise import adbapi # 使用异步数据库处理连接池
from pymysql import cursors # 数据库游标类

class JianshuSpiderPipeline(object):
    def __init__(self):
        params = {
            'host':'127.0.0.1',
            'port':3306,
            'user':'root',
            'password':'1326628437',
            'database':'jianshu',
            'charset':'utf8'
        }
        self.conn = pymysql.connect(**params)
        self.sursor = self.conn.cursor()
        self._sql = None

    @property # 属性操作,可直接调用
    def sql(self):
        if not self._sql:
            self._sql = '''insert into article(title,author,avatar,publish_time,article_id,
            origin_url,content) value(%s,%s,%s,%s,%s,%s,%s)'''
            return self._sql
        return self._sql

    def process_item(self, item, spider):
        self.sursor.execute(self.sql,(item['title'],item['author'],item['avatar'],item['publish_time'],
                                      item['article_id'],item['origin_url'],item['content']))
        self.conn.commit()
        return item


# 异步实现插入数据库,插入操作是io操作,数据量大时,会出现堵塞,异步插入很有必要

class JianshuTwistedPipeline(object):
    def __init__(self):
        params = {
            'host':'127.0.0.1',
            'port':3306,
            'user':'root',
            'password':'1326628437',
            'database':'jianshu',
            'charset':'utf8',
            'cursorclass':cursors.DictCursor
        }
        # 调用异步连接池实现异步插入数据库
        self.dbpool = adbapi.ConnectionPool("pymysql",**params)
        self._sql = None

    @property
    def sql(self):
        if not self._sql:
            self._sql = '''insert into article(title,author,avatar,publish_time,article_id,
            origin_url,content) value(%s,%s,%s,%s,%s,%s,%s)'''
            return self._sql
        return self._sql

    def process_item(self,item,spider):
        # 异步插入数据
        defer = self.dbpool.runInteraction(self.insert_item,item)
        # 错误处理
        defer.addErrback(self.handle_error,item,spider)


    def insert_item(self,item,cursor):
        cursor.execute(self.sql,(item['title'],item['author'],item['avatar'],item['publish_time'],
                                      item['article_id'],item['origin_url'],item['content']))


    def handle_error(self,item,error,spider):
        print('+'*30 + 'error' + '+'*30)
        print(error)
        print('+'*30 + 'error' + '+'*30)

middleware.py文件

from selenium import webdriver
import time
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from scrapy.http.response.html import HtmlResponse

# 用selenium重写请求过程,实现去爬取一些用ajax加载的页面
# 一些点赞数,评论数,喜欢数,推荐阅读的文章链接都是ajax加载的。
class SeleniumDownloadMiddleware(object):
    def __init__(self):
        self.browser = webdriver.Chrome() #
        self.wait = WebDriverWait(self.browser,10)

    def process_request(self,request,spider):
        self.browser.get(request.url)
        print('我正在用selenium自动化工具下载url')
        time.sleep(1)
        try:
            while True:
                # 这里因为有些文章下方有许多加载更多,在文章被一下专栏收录里,所以要重复点击
                showmore = self.browser.find_element_by_class_name('show-more')
                showmore.click()
                time.sleep(0.3)
                if not showmore:
                    break
        except:
            pass
        source = self.browser.page_source
        response = HtmlResponse(url=self.browser.current_url,request=request,body=source,encoding='utf-8')
        return response

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
5月前
|
数据采集 中间件 Python
Scrapy爬虫:利用代理服务器爬取热门网站数据
Scrapy爬虫:利用代理服务器爬取热门网站数据
|
3月前
|
数据采集 存储 缓存
使用Scrapy进行网络爬取时的缓存策略与User-Agent管理
使用Scrapy进行网络爬取时的缓存策略与User-Agent管理
|
4月前
|
Web App开发 iOS开发 Python
经验大分享:scrapy框架爬取糗妹妹网站qiumeimei.com图片
经验大分享:scrapy框架爬取糗妹妹网站qiumeimei.com图片
30 0
|
XML 数据采集 JSON
scrapy_selenium爬取Ajax、JSON、XML网页:豆瓣电影
在网络爬虫的开发过程中,我们经常会遇到一些动态加载的网页,它们的数据不是直接嵌入在HTML中,而是通过Ajax、JSON、XML等方式异步获取的。这些网页对于传统的scrapy爬虫来说,是很难直接解析的。那么,我们该如何使用scrapy_selenium来爬取这些数据格式的网页呢?本文将为你介绍scrapy_selenium的基本原理和使用方法,并给出一个实际的案例。
105 0
|
5月前
|
数据采集 JavaScript 开发者
使用Scrapy有效爬取某书广告详细过程
使用Scrapy有效爬取某书广告详细过程
使用Scrapy有效爬取某书广告详细过程
|
5月前
|
数据采集 Python
Scrapy框架 -- 深度爬取并持久化保存图片
Scrapy框架 -- 深度爬取并持久化保存图片
111 0
|
数据采集 存储 JSON
「Python」爬虫-9.Scrapy框架的初识-公交信息爬取
本文将讲解如何使用scrapy框架完成北京公交信息的获取。
699 0
|
数据采集 XML 存储
构建一个简单的电影信息爬虫项目:使用Scrapy从豆瓣电影网站爬取数据
这个案例展示了如何使用 Scrapy 框架构建一个简单的爬虫项目,从网页中提取数据并保存到文件中。通过配置、编写爬虫代码、定义数据模型和数据处理管道,你可以灵活地构建各种爬虫应用。
302 0
构建一个简单的电影信息爬虫项目:使用Scrapy从豆瓣电影网站爬取数据
|
数据采集 开发者 Python
如何使用Scrapy框架爬取301跳转后的数据
如何使用Scrapy框架爬取301跳转后的数据
|
数据采集 Web App开发 存储
使用 Scrapy + Selenium 爬取动态渲染的页面
使用 Scrapy + Selenium 爬取动态渲染的页面
478 0
使用 Scrapy + Selenium 爬取动态渲染的页面