中乘风
TA的个人档案
中乘风个人页面-阿里云开发者社区
文章
27
问答
0
个人介绍
中乘风，生于海南，中国《英雄联盟》电子竞技职业选手，RNG战队上单。 2015年加入RNG战队并帮助队伍获得2017年LPL春季赛亚军、2017年LPL夏季赛亚军、2017年全球总决赛四强、2018年LPL春季赛冠军、2018年MSI季中赛冠军、RNG队伍2018英雄联盟洲际赛冠
擅长的技术
- 容器
- 高分内容
- 最新动态
- 文章
- 问答
-
发表了文章 2018-08-27
我的博客即将入驻“云栖社区”，诚邀技术同仁一同入驻。
我的博客即将入驻“云栖社区”，诚邀技术同仁一同入驻。
-
发表了文章 2018-07-13
Scrapy框架-通过scrapy_splash解析动态渲染的数据
前言 对于那些通过JS来渲染数据的网站，我们要解析出它的html来才能取到想要的数据，通常有两种解决办法： 1、通过selenim调用浏览器（如chrome firefox等）来爬取，将解析的任务交给浏览器。 2、通过splash来解析数据，scrapy可以直接从splash的【空间】中拿到渲染后的数据。 这里介绍scrapy_splash 有个坑 根据它的文档，我们可以知道它依赖于Docker服务，所以你想要使用scrapy_splash就需要先安装docker并跑起来。再根据它的文档进行安装、启动等操作（其实这里有个坑）： $ docker run -p 8050:8050 scrapinghub/splash 项目启动的时候，如果通过这个命令启动,他其实默认给你启动的是http://127.0.0.1:8050/,你可以用浏览器打开来看，看到这个页面就算正常启动了 splash正常启动页面-通过浏览器访问 所以，它的官方示例代码下一句代码（在settings.py中配置）： SPLASH_URL = 'http://192.168.59.103:8050' 你在使用的时候如果按照这句来写，是无法连接splash的，必须写成： "SPLASH_URL": 'http://127.0.0.1:8050' 其他的配置可以按照文档来写。 代码中的使用 如果使用动态settings配置（避免影响其他爬虫）的话，可以在具体的spider文件中新增： custom_settings = { """ 动态settings配置 """ "SPLASH_URL": 'http://127.0.0.1:8050', "DOWNLOADER_MIDDLEWARES": { 'scrapy_splash.SplashCookiesMiddleware': 723, 'scrapy_splash.SplashMiddleware': 725, 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810, }, "SPIDER_MIDDLEWARES": { 'scrapy_splash.SplashDeduplicateArgsMiddleware': 100, }, "DUPEFILTER_CLASS": 'scrapy_splash.SplashAwareDupeFilter', "HTTPCACHE_STORAGE": 'scrapy_splash.SplashAwareFSCacheStorage', } name = 'tsinghua' allowed_domains = ['tv.tsinghua.edu.cn'] start_urls = ['http://tv.tsinghua.edu.cn/publish/video/index.html'] 然后再使用的时候，需要将哪个动态页面解析，就要用SplashRequest来发起请求，而不是之前的scrapy.Request来发起，其他的如callback、meta、url都是一样的（如果不一样请以文档为准）下面我放出清华大学视频站的解析代码： def parse(self, response): """ 获取导航链接, 自动爬取所有导航url, 交给parseList方法 为了获取js渲染的翻页, 这里用scrapy-splash的SplashRequest来构造请求, 以获得js渲染后的的html数据 """ totalNav = response.css('#nav li') for i in totalNav: urls = i.css('a::attr("href")').extract_first() yield SplashRequest(url=parse.urljoin(response.url, urls), args={"wait": 1}, callback=self.parseList) def parseList(self, response): """ 在列表页获取详情页的url以及视频封面, 传递给parseDetails方法, 最终获取视频和封面等信息 """ totalUrl = response.css('.picnewslist2.clearfix .clearfix ') for i in totalUrl: urls = parse.urljoin(response.url, i.css('.contentwraper figcaption a::attr("href")').extract_first()) imagesUrl = parse.urljoin(response.url, i.css('.picwraper img::attr("src")').extract_first()) yield Request(url=urls, meta={"imagesUrl": imagesUrl}, callback=self.parseDetails) """ 翻页操作 借助scrapy-splash来解析js渲染的html 取出"上一页, 下一页"的页码, 通过re正则来匹配其中的数值 对url进行判断, 是否是第一页。根据url构造不同的下一页nexPageUrl 最后借助scrapy-splash继续解析下一页的html """ nextPageList = response.css('a.p::attr("onclick")').extract() if len(nextPageList) >= 2: matchRule = re.search('\d+', nextPageList[1]) if matchRule: nextPageNumber = matchRule.group(0) thisPageRule = re.search('index_\d+', response.url) if thisPageRule: thisPageNumber = thisPageRule.group(0).replace('index_', '') nexPageUrl = response.url.replace(thisPageNumber, nextPageNumber) yield SplashRequest(url=nexPageUrl, callback=self.parseList) else: nexPageUrlJoin = 'index_' + nextPageNumber nexPageUrl = response.url.replace('index', nexPageUrlJoin) yield SplashRequest(url=nexPageUrl, callback=self.parseList) def parseDetails(self, response): """ 抽取视频详情, 交给对应item进行序列化 """ imagesUrl =response.meta['imagesUrl'] loaders = tsinghuaVedioItemLoader(item=tsinghuaVedioItem(), response=response) loaders.add_css("title", "article.article h1::text") # 标题 loaders.add_css("articleContent", '#play_mobile source::attr("src")') # 内容 loaders.add_value("imagesUrl", imagesUrl) # 视频封面地址 loaders.add_value("articleType", 2) # 类型：视频 loaders.add_value("addtime", datetime.now()) loaders.add_value("schoolName", "清华大学") loaders.add_value("schoolID", 6) items = loaders.load_item() yield items
-
发表了文章 2018-07-13
Scrapy下载图片（下，图片中文字识别）
这里增加应用场景，让图片下载结合自动识别，实现识别转换图片中的电话号码。 背景 在爬取广西人才网的过程当中，发现广西人才网企业联系电话那里不是str，而是将电话生成了一张图片，遇到这种情况，通常有三种不同的处理办法： 将图片地址保存下来，只存url 将图片下载到本地，存储url和本地路径path 将图片下载到本地，存储url和本地路径，然后用图片识别的方式将电话识别出来，赋给tel字段存入数据库 图片文字识别 这里先做图片识别的功能，在github上有个pytesseract包，通过pip安装： pip install pytesseract （当然了，前提是我之前安装过pillow包，要不然这里还是要安装pillow的） 然后项目目录下新建一个文件imagetestpy，代码如下： from PIL import Image import pytesseract codes = pytesseract.image_to_string(Image.open('test.jpg')) print(codes) 保存运行即可看到它能够正常识别出图片中的电话号码。 结合到项目中 广西人才网的项目逻辑是： spider获取电话图片-->交给item进行序列化-->配置图片下载将电话号码图片下载到本地-->通过pytesseract识别本地图片-->将识别出来的电话号码装在到item["tel"]中，完成。 所以spider里面不用获取tel的值，只需要获取图片url就行，代码为： loaders.add_css("image_urls", ".address tr:first-child img::attr(src)") 在item中定义好tel字段和path字段： comp_tel = scrapy.Field() image_path = scrapy.Field() 接着根据上一篇文章配置图片下载，settings： ITEM_PIPELINES = { #'scrapy.contrib.pipeline.images.ImagesPipeline': 1, 'rspider.pipelines.ImagePathPipeline': 1,# 开启图片下载 } """ 图片下载配置 """ IMAGES_URLS_FIELD = "image_urls" # 对应item里面设定的字段，取到图片的url prodir = os.path.abspath(os.path.dirname(__file__)) IMAGES_STORE = os.path.join(prodir,"images") # 设置图片保存path 到pipelisne.py中编写新的ImagesPipeline，通过重载item_completed获得图片下载路径，然后自定义get_img_tel方法来识别图片中的号码，将识别出来的号码传递给item["comp_tel"]，将下载路径也传递给item["image_path"]，整个类的代码为： from scrapy.pipelines.images import ImagesPipeline from PIL import Image import pytesseract import os class ImagePathPipeline(ImagesPipeline): """ 继承ImagesPipeline，重载item_completed方法 以实现处理图片下载路径的目的 """ def get_img_tel(self,image_path): """ 获取广西人才网图像中的电话号码 下载存储人才网企业联系电话的图片 将图片path传进来，通过pytesseract进行解析 由于代码存在些许问题，数字0会识别为u，所以识别后要进行replace替换 返回结果 """ prodir = os.path.abspath(os.path.dirname(__file__)) url_path = os.path.join(prodir, "images/") + image_path # 设置图片保存path tel_nums = pytesseract.image_to_string(Image.open(url_path)) return tel_nums def item_completed(self, results, item, info): """ 循环results，将里面的path取出，然后赋值到item中的image_path字段，最后返回item """ for ok, value in results: image_path = value["path"] item["image_path"] = image_path item["comp_tel"] = self.get_img_tel(image_path) return item 这样即可完成从图片下载到识别号码再传值回来的功能
-
发表了文章 2018-07-13
Scrapy框架--通用爬虫Broad Crawls（下，具体代码实现）
通过前面两章的熟悉，这里开始实现具体的爬虫代码 广西人才网 以广西人才网为例，演示基础爬虫代码实现，逻辑： 配置Rule规则:设置allow的正则-->设置回调函数 通过回调函数获取想要的信息 具体的代码实现： import scrapy from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider, Rule class GxrcSpider(CrawlSpider): name = 'gxrc' allowed_domains = ['www.gxrc.com'] start_urls = ['http://www.gxrc.com/'] rules = ( Rule(LinkExtractor(allow=r'WebPage/Company.*'),follow=True,callback='parse_company'), # 配置公司正则 Rule(LinkExtractor(allow=r'WebPage/JobDetail.*'), callback='parse_item', follow=True), # 配置职位正则 ) def parse_item(self, response): """ 获取职位信息 """ i = {} i['job_name'] = response.css('h1#positionName::text').extract_first("") # 职位名称 return i def parse_company(self, response): """ 获取公司信息 """ i = {} i['company_name'] = response.css('.inner h1::text').extract_first("") # 公司名称 return i 这样即可完成基础的正则和信息抓取工作，至于Item和Pepiline和之前的写法一样。
-
发表了文章 2018-07-13
Scrapy笔框架--通用爬虫Broad Crawls（中）
rules = ( Rule(LinkExtractor(allow=r'WebPage/Company.*'),follow=True,callback='parse_company'), Rule(LinkExtractor(allow=r'WebPage/JobDetail.*'), callback='parse_item', follow=True), ) Rule的参数用法 跟踪Rule代码看它的参数： link_extractor, callback=None, cb_kwargs=None, follow=None, process_links=None, process_request=identity link_extractor完成url的抽取，它就是交给CrawlSpider用 callback是回调函数 cb_kwargs是传递给link_extractor的参数 follow的意思是满足Rule规则的url是否跟进 process_links在Scrapy笔记--通用爬虫Broad Crawls（上）里面有代码演示，主要处理url process_request可以对request进行预处理，就像process_links处理url一样，编写一个函数方法进行处理 LinkExtrator的参数用法，跟踪代码看参数： allow=(), deny=(), allow_domains=(), deny_domains=(), restrict_xpaths=(), tags=('a', 'area'), attrs=('href',), canonicalize=False, unique=True, process_value=None, deny_extensions=None, restrict_css=(), strip=True allow=(r'/jobs/\d+.html')中放置的是一个正则表达式，如果你满足正则，就对其进行提取 deny是allow的反向 allow_domains=('www.lagou.com')是指在指定域名www.lagou.com下的才进入处理 deny_domains是allow_domains的反向 restrict_xpaths、restrict_css可以通过xpath或者css进一步限定url，比如当前页面有很多符合条件的url，但是我希望限定某个范围进行取值，则可以通过它来指定范围区域，如： restrict_css('.jon-info') 是限定 <div class=jon-info>中间的范围</div> tags=('a', 'area'), attrs=('href',)是指默认通过a标签和area标签找到里面的href
滑动查看更多
暂无更多信息
-
发表了文章
2018-07-12
中乘风简书博文说明-风者须知
-
发表了文章
2018-07-12
目标反爬虫怎么办？实践出真知-scrapy集成动态ip代理(以阿布云为例)
-
发表了文章
2018-07-12
我想监控爬虫状况怎么办？Scrapy邮件发送功能及爬虫停止信息 。
-
发表了文章
2018-07-13
scrapy框架-将数据写入json文件
-
发表了文章
2018-07-13
Deepin（Linux系统）下的selenium+chrome配置
-
发表了文章
2018-07-13
scrapy模拟登录代码演示及cookie原理说明
-
发表了文章
2018-07-13
Scrayp-集成scrapy_redis和bloomfilter实现增量
-
发表了文章
2018-07-13
Scrapy框架-通过Scrapyd来部署爬虫
-
发表了文章
2018-07-13
Scrapy框架-分布式爬虫实现及scrapy_redis使用
-
发表了文章
2018-07-13
Scrapy框架-去重原理讲解、数据收集以及信号量知识
-
发表了文章
2018-07-13
在阿里云服务器使用scrapyd部署scrapy项目
-
发表了文章
2018-07-13
Scrapy框架-模拟登录之JWT验证及post特殊格式数据（json）
-
发表了文章
2018-07-13
爬虫代码编写中会遇到的字符处理的坑
-
发表了文章
2018-07-13
Scrapy框架-图片下载功能
-
发表了文章
2018-07-13
解决mysql存储特殊文字(表情符号)utf8mb4
-
发表了文章
2018-07-13
MacOSX安装OpenCC实现繁体字转简体字
-
发表了文章
2018-07-13
Docker-通过docker打包scrapyd服务并启动
-
发表了文章
2018-07-13
一学就会的django项目服务器部署nginx-uwsgi-django/build
-
发表了文章
2018-07-13
Python-网页转义字符及正则全文匹配
-
发表了文章
2018-07-13
Python 给字符串进行加密，生成唯一固定长度字符串
滑动查看更多
暂无更多信息