Scrapy框架-通过scrapy_splash解析动态渲染的数据-阿里云开发者社区

开发者社区> 中乘风> 正文

Scrapy框架-通过scrapy_splash解析动态渲染的数据

简介: 前言 对于那些通过JS来渲染数据的网站,我们要解析出它的html来才能取到想要的数据,通常有两种解决办法: 1、通过selenim调用浏览器(如chrome firefox等)来爬取,将解析的任务交给浏览器。
+关注继续查看

前言

对于那些通过JS来渲染数据的网站,我们要解析出它的html来才能取到想要的数据,通常有两种解决办法:
1、通过selenim调用浏览器(如chrome firefox等)来爬取,将解析的任务交给浏览器。
2、通过splash来解析数据,scrapy可以直接从splash的【空间】中拿到渲染后的数据。

这里介绍scrapy_splash

有个坑

根据它的文档,我们可以知道它依赖于Docker服务,所以你想要使用scrapy_splash就需要先安装docker并跑起来。再根据它的文档进行安装、启动等操作(其实这里有个坑):

$ docker run -p 8050:8050 scrapinghub/splash

项目启动的时候,如果通过这个命令启动,他其实默认给你启动的是http://127.0.0.1:8050/,你可以用浏览器打开来看,看到这个页面就算正常启动了


splash正常启动页面-通过浏览器访问

所以,它的官方示例代码下一句代码(在settings.py中配置):

 SPLASH_URL = 'http://192.168.59.103:8050'

你在使用的时候如果按照这句来写,是无法连接splash的,必须写成:

"SPLASH_URL": 'http://127.0.0.1:8050'

其他的配置可以按照文档来写。

代码中的使用

如果使用动态settings配置(避免影响其他爬虫)的话,可以在具体的spider文件中新增:

custom_settings = {
    """ 动态settings配置 """
    "SPLASH_URL": 'http://127.0.0.1:8050',
    "DOWNLOADER_MIDDLEWARES": {
    'scrapy_splash.SplashCookiesMiddleware': 723,
    'scrapy_splash.SplashMiddleware': 725,
    'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,
    },
    "SPIDER_MIDDLEWARES": {
    'scrapy_splash.SplashDeduplicateArgsMiddleware': 100,
    },
    "DUPEFILTER_CLASS": 'scrapy_splash.SplashAwareDupeFilter',
    "HTTPCACHE_STORAGE": 'scrapy_splash.SplashAwareFSCacheStorage',
}
name = 'tsinghua'
allowed_domains = ['tv.tsinghua.edu.cn']
start_urls = ['http://tv.tsinghua.edu.cn/publish/video/index.html']

然后再使用的时候,需要将哪个动态页面解析,就要用SplashRequest来发起请求,而不是之前的scrapy.Request来发起,其他的如callback、meta、url都是一样的(如果不一样请以文档为准)下面我放出清华大学视频站的解析代码:

def parse(self, response):
    """
    获取导航链接, 自动爬取所有导航url, 交给parseList方法
    为了获取js渲染的翻页, 这里用scrapy-splash的SplashRequest来构造请求, 以获得js渲染后的的html数据
     """
    totalNav = response.css('#nav li')
    for i in totalNav:
        urls = i.css('a::attr("href")').extract_first()
        yield SplashRequest(url=parse.urljoin(response.url, urls), args={"wait": 1}, callback=self.parseList)

def parseList(self, response):
    """ 在列表页获取详情页的url以及视频封面, 传递给parseDetails方法, 最终获取视频和封面等信息 """
    totalUrl = response.css('.picnewslist2.clearfix .clearfix ')
    for i in totalUrl:
        urls = parse.urljoin(response.url, i.css('.contentwraper figcaption a::attr("href")').extract_first())
        imagesUrl = parse.urljoin(response.url, i.css('.picwraper img::attr("src")').extract_first())
        yield Request(url=urls, meta={"imagesUrl": imagesUrl}, callback=self.parseDetails)

    """ 
    翻页操作 
        借助scrapy-splash来解析js渲染的html
        取出"上一页, 下一页"的页码, 通过re正则来匹配其中的数值
        对url进行判断, 是否是第一页。根据url构造不同的下一页nexPageUrl
        最后借助scrapy-splash继续解析下一页的html
    """
    nextPageList = response.css('a.p::attr("onclick")').extract()
    if len(nextPageList) >= 2:
        matchRule = re.search('\d+', nextPageList[1])
        if matchRule:
            nextPageNumber = matchRule.group(0)
            thisPageRule = re.search('index_\d+', response.url)
            if thisPageRule:
                thisPageNumber = thisPageRule.group(0).replace('index_', '')
                nexPageUrl = response.url.replace(thisPageNumber, nextPageNumber)
                yield SplashRequest(url=nexPageUrl, callback=self.parseList)
            else:
                nexPageUrlJoin = 'index_' + nextPageNumber
                nexPageUrl = response.url.replace('index', nexPageUrlJoin)
                yield SplashRequest(url=nexPageUrl, callback=self.parseList)

def parseDetails(self, response):
    """ 抽取视频详情, 交给对应item进行序列化 """
    imagesUrl =response.meta['imagesUrl']
    loaders = tsinghuaVedioItemLoader(item=tsinghuaVedioItem(), response=response)
    loaders.add_css("title", "article.article h1::text")  # 标题
    loaders.add_css("articleContent", '#play_mobile source::attr("src")')  # 内容
    loaders.add_value("imagesUrl", imagesUrl)  # 视频封面地址
    loaders.add_value("articleType", 2)  # 类型:视频
    loaders.add_value("addtime", datetime.now())
    loaders.add_value("schoolName", "清华大学")
    loaders.add_value("schoolID", 6)
    items = loaders.load_item()
    yield items

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Cassandra源码解析系列启动模块
Cassandra源码解析之初始化
1090 0
Python爬虫入门教程 31-100 36氪(36kr)数据抓取 scrapy
1. 36氪(36kr)数据----写在前面 今天抓取一个新闻媒体,36kr的文章内容,也是为后面的数据分析做相应的准备的,预计在12月底,爬虫大概写到50篇案例的时刻,将会迎来一个新的内容,系统的数据分析博文,记得关注哦~ 36kr 让一部分人先看到未来,而你今天要做的事情确实要抓取它的过去。
9321 0
动手做webserver的核心之http解析
简介         webserver往小里说核心功能就是socket管理、url处理、http协议处理、业务dll管理等;下面简介绍一下http协议:超文本传输协议(HTTP)是一种通信协议,当时就是为web传输设计的一个基于tcp的协议;基于这个字面上理解,可以简单的点说就是用tcp来传输文本、数据的一种编解码格式。
1297 0
ACCESS通过一个连接写入的数据,另一个连接却读取不出来
最近在用c#实现一个数据导入的功能,将一个ACCESS数据库中的数据导入到另一个ACCESS的数据库中,然后显示出来,但是导入成功了,却显示不出来。 经过研究觉得应该是缓存的原因,由于我写入数据和读取数据使用的不是一个OleDbConnection对象,而是分别打开了两个OleDbConnection连接对象;一个连接写入成功了,但保存到磁盘还需要点时间,所以这个连接写入成功,另一个连接立即去取就会有取不到的情况! 改为使用一个连接对象,问题就解决了。
513 0
js之原生JavaScript数据结构
js之原生JavaScript数据结构
4843 0
【大创_社区划分】——PageRank算法的解析与Python实现
一、什么是pagerank PageRank的Page可是认为是网页,表示网页排名,也可以认为是Larry Page(google 产品经理),因为他是这个算法的发明者之一,还是google CEO(^_^)。
1110 0
让小程序在自有App中启动的技术来了:mPaaS小程序架构深度解析
mPaaS 小程序框架作为一款 App 通用框架,帮助开发者面向自身的 App 实现小程序投放。不止如此,小程序代码仅需撰写一次,便可多端投放至自有 App、支付宝、钉钉甚至其他小程序开放平台。
1777 0
基于python的Scrapy爬虫框架实战
基于python的Scrapy爬虫框架实战 2018年7月19日笔记 1.伯乐在线 网站页面如下图所示: 网站页面.png 1.1 新建爬虫工程 命令:scrapy startproject BoleArticle 新建爬虫工程命令 命令:scrapy genspider article "blog.jobbole.com" 注意:运行此命令时必须在爬虫工程文件夹内,如下图路径所示。
1287 0
自学人工智能:1-3 接触scrapy框架
已经学了几天python,今天通过对scrapy框架的认识,加深对python的印象。
1340 0
+关注
中乘风
中乘风,生于海南,中国《英雄联盟》电子竞技职业选手,RNG战队上单。 2015年加入RNG战队并帮助队伍获得2017年LPL春季赛亚军、2017年LPL夏季赛亚军、2017年全球总决赛四强、2018年LPL春季赛冠军、2018年MSI季中赛冠军、RNG队伍2018英雄联盟洲际赛冠
27
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载
《2021云上架构与运维峰会演讲合集》
立即下载