天降攻城狮
TA的个人档案
天降攻城狮个人页面-阿里云开发者社区
文章
35
问答
0
个人介绍
个人维信：zixuekaoshidian 个人QQ：798244092 学习交流QQ群：477287381
擅长的技术
- Python
- 前端开发
- 容器
- Linux
- 数据库
- 高分内容
- 最新动态
- 文章
- 问答
-
发表了文章 2019-07-30
24、Python快速开发分布式搜索引擎Scrapy精讲—爬虫和反爬的对抗过程以及策略—scrapy架构源码分析图
【百度云搜索:http://www.lqkweb.com】 【搜网盘:http://www.swpan.cn】 1、基本概念 2、反爬虫的目的 3、爬虫和反爬的对抗过程以及策略 scrapy架构源码分析图
-
发表了文章 2019-07-13
23、 Python快速开发分布式搜索引擎Scrapy精讲—craw母版l创建自动爬虫文件—以及 scrapy item loader机制
转： http://www.bdyss.cn http://www.swpan.cn 用命令创建自动爬虫文件 创建爬虫文件是根据scrapy的母版来创建爬虫文件的 scrapy genspider -l 查看scrapy创建爬虫文件可用的母版 Available templates:母版说明 basic 创建基础爬虫文件 crawl 创建自动爬虫文件 csvfeed 创建爬取csv数据爬虫文件 xmlfeed 创建爬取xml数据爬虫文件 创建一个基础母版爬虫，其他同理 scrapy genspider -t 母版名称 爬虫文件名称 要爬取的域名 创建一个基础母版爬虫，其他同理如：scrapy genspider -t crawl lagou www.lagou.com 第一步，配置items.py接收数据字段 default_output_processor = TakeFirst()默认利用ItemLoader类，加载items容器类填充数据，是列表类型，可以通过TakeFirst()方法，获取到列表里的内容 input_processor = MapCompose(预处理函数)设置数据字段的预处理函数，可以是多个函数 # -*- coding: utf-8 -*- # Define here the models for your scraped items # # See documentation in: # http://doc.scrapy.org/en/latest/topics/items.html #items.py,文件是专门用于，接收爬虫获取到的数据信息的，就相当于是容器文件 import scrapy from scrapy.loader.processors import MapCompose,TakeFirst from scrapy.loader import ItemLoader #导入ItemLoader类也就加载items容器类填充数据 class LagouItemLoader(ItemLoader): #自定义Loader继承ItemLoader类，在爬虫页面调用这个类填充数据到Item类 default_output_processor = TakeFirst() #默认利用ItemLoader类，加载items容器类填充数据，是列表类型，可以通过TakeFirst()方法，获取到列表里的内容 def tianjia(value): #自定义数据预处理函数 return '叫卖录音网'+value #将处理后的数据返给Item class LagouItem(scrapy.Item): #设置爬虫获取到的信息容器类 title = scrapy.Field( #接收爬虫获取到的title信息 input_processor = MapCompose(tianjia), #将数据预处理函数名称传入MapCompose方法里处理，数据预处理函数的形式参数value会自动接收字段title ) 第二步，编写自动爬虫与利用ItemLoader类加载items容器类填充数据 自动爬虫Rule()设置爬虫规则 参数： LinkExtractor()设置url规则 callback='回调函数名称' follow=True 表示在抓取页面继续深入 LinkExtractor()对爬虫获取到的url做规则判断处理 参数： allow= r'jobs/' 是一个正则表达式，表示符合这个url格式的，才提取 deny= r'jobs/' 是一个正则表达式，表示符合这个url格式的，不提取抛弃掉，与allow相反 allow_domains= www.lagou.com/ 表示这个域名下的连接才提取 deny_domains= www.lagou.com/ 表示这个域名下的连接不提取抛弃 restrict_xpaths= xpath表达式 表示可以用xpath表达式限定爬虫只提取一个页面指定区域的URL restrict_css= css选择器，表示可以用css选择器限定爬虫只提取一个页面指定区域的URL tags= 'a' 表示爬虫通过a标签去寻找url,默认已经设置，默认即可 attrs= 'href' 表示获取到a标签的href属性，默认已经设置，默认即可 * 利用自定义Loader类继承ItemLoader类，加载items容器类填充数据 *ItemLoader()实例化一个ItemLoader对象来加载items容器类，填充数据，如果是自定义Loader继承的ItemLoader同样的用法 参数： 第一个参数：要填充数据的items容器类注意加上括号， 第二个参数：response* ItemLoader对象下的方法： add_xpath('字段名称','xpath表达式')方法，用xpath表达式获取数据填充到指定字段 add_css('字段名称','css选择器')方法，用css选择器获取数据填充到指定字段 add_value('字段名称',字符串内容)方法，将指定字符串数据填充到指定字段 load_item()方法无参，将所有数据生成，load_item()方法被yield后数据被填充items容器指定类的各个字段 爬虫文件 # -*- coding: utf-8 -*- import scrapy from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider, Rule from adc.items import LagouItem,LagouItemLoader #导入items容器类,和ItemLoader类 class LagouSpider(CrawlSpider): #创建爬虫类 name = 'lagou' #爬虫名称 allowed_domains = ['www.luyin.org'] #起始域名 start_urls = ['http://www.luyin.org/'] #起始url rules = ( #配置抓取列表页规则 Rule(LinkExtractor(allow=('ggwa/.*')), follow=True), #配置抓取内容页规则 Rule(LinkExtractor(allow=('post/\d+.html.*')), callback='parse_job', follow=True), ) def parse_job(self, response): #回调函数，注意：因为CrawlS模板的源码创建了parse回调函数，所以切记我们不能创建parse名称的函数 #利用ItemLoader类，加载items容器类填充数据 item_loader = LagouItemLoader(LagouItem(), response=response) item_loader.add_xpath('title','/html/head/title/text()') article_item = item_loader.load_item() yield article_item items.py文件与爬虫文件的原理图 【转载自：http://www.lqkweb.com】
-
发表了文章 2019-07-12
22、Python快速开发分布式搜索引擎Scrapy精讲—scrapy模拟登陆和知乎倒立文字验证码识别
转自： http://www.bdyss.cn http://www.swpan.cn 第一步。首先下载，大神者也的倒立文字验证码识别程序 下载地址：https://github.com/muchrooms/zheye 注意：此程序依赖以下模块包 Keras==2.0.1 Pillow==3.4.2 jupyter==1.0.0 matplotlib==1.5.3 numpy==1.12.1 scikit-learn==0.18.1 tensorflow==1.0.1 h5py==2.6.0 numpy-1.13.1+mkl 我们用豆瓣园来加速安以上依赖装如： pip install -i https://pypi.douban.com/simple h5py==2.6.0 如果是win系统，可能存在安装失败的可能，如果那个包安装失败，就到 http://www.lfd.uci.edu/~gohlke/pythonlibs/ 找到win对应的版本下载到本地安装，如： pip install h5py-2.7.0-cp35-cp35m-win_amd64.whl 第二步，将者也的，验证码识别程序的zheye文件夹放到工程目录里 第三步，爬虫实现 start_requests()方法，起始url函数，会替换start_urls Request()方法，get方式请求网页 url=字符串类型url headers=字典类型浏览器代理 meta=字典类型的数据，会传递给回调函数 callback=回调函数名称 scrapy.FormRequest()post方式提交数据 url=字符串类型url headers=字典类型浏览器代理 meta=字典类型的数据，会传递给回调函数 callback=回调函数名称 formdata=字典类型，要提交的数据字段 response.headers.getlist('Set-Cookie') 获取响应Cookiesresponse.request.headers.getlist('Cookie') 获取请求Cookies # -*- coding: utf-8 -*- import scrapy from scrapy.http import Request,FormRequest import re class PachSpider(scrapy.Spider): #定义爬虫类，必须继承scrapy.Spider name = 'pach' #设置爬虫名称 allowed_domains = ['zhihu.com'] #爬取域名 # start_urls = [''] #爬取网址,只适于不需要登录的请求，因为没法设置cookie等信息 header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0'} #设置浏览器用户代理 def start_requests(self): #起始url函数，会替换start_urls """第一次请求一下登录页面，设置开启cookie使其得到cookie，设置回调函数""" return [Request( url='https://www.zhihu.com/#signin', headers=self.header, meta={'cookiejar':1}, #开启Cookies记录，将Cookies传给回调函数 callback=self.parse )] def parse(self, response): # 响应Cookies Cookie1 = response.headers.getlist('Set-Cookie') #查看一下响应Cookie，也就是第一次访问注册页面时后台写入浏览器的Cookie print('后台首次写入的响应Cookies：',Cookie1) #获取xsrf密串 xsrf = response.xpath('//input[@name="_xsrf"]/@value').extract()[0] print('获取xsrf密串：' + xsrf) #获取验证码 import time t = str(int(time.time()*1000)) captcha_url = 'https://www.zhihu.com/captcha.gif?r={0}&type=login&lang=cn'.format(t) #构造验证码请求地址 yield Request(url=captcha_url, #请求验证码图片 headers=self.header, meta={'cookiejar':response.meta['cookiejar'],'xsrf':xsrf}, #将Cookies和xsrf密串传给回调函数 callback=self.post_tj ) def post_tj(self, response): with open('yzhm.jpg','wb') as f: #打开图片句柄 f.write(response.body) #将验证码图片写入本地 f.close() #关闭句柄 #---------------------------者也验证码识别----------------------- from zheye import zheye #导入者也倒立文字验证码识别模块对象 z = zheye() #实例化对象 positions = z.Recognize('yzhm.jpg') #将验证码本地路径传入Recognize方法识别，返回倒立图片的坐标 # print(positions) #默认倒立文字的y坐标在前，x坐标在后 #知乎网要求的倒立文字坐标是x轴在前，y轴在后，所以我们需要定义一个列表来改变默认的，倒立文字坐标位置 pos_arr = [] if len(positions) == 2: if positions[0][1] > positions[1][1]: #判断列表里第一个元祖里的第二个元素如果大于,第二个元祖里的第二个元素 pos_arr.append([positions[1][1],positions[1][0]]) pos_arr.append([positions[0][1], positions[0][0]]) else: pos_arr.append([positions[0][1], positions[0][0]]) pos_arr.append([positions[1][1], positions[1][0]]) else: pos_arr.append([positions[0][1], positions[0][0]]) print('处理后的验证码坐标',pos_arr) # -------------者也验证码识别结束-------- if len(pos_arr) == 2: data = { # 设置用户登录信息，对应抓包得到字段 '_xsrf': response.meta['xsrf'], 'password': '279819', 'captcha': '{"img_size":[200,44],"input_points":[[%.2f,%f],[%.2f,%f]]}' %( pos_arr[0][0] / 2, pos_arr[0][1] / 2, pos_arr[1][0] / 2, pos_arr[1][1] / 2), #因为验证码识别默认是400X88的尺寸所以要除以2 'captcha_type': 'cn', 'phone_num': '15284816568' } else: data = { # 设置用户登录信息，对应抓包得到字段 '_xsrf': response.meta['xsrf'], 'password': '279819', 'captcha': '{"img_size":[200,44],"input_points":[[%.2f,%f]]}' %( pos_arr[0][0] / 2, pos_arr[0][1] / 2), 'captcha_type': 'cn', 'phone_num': '15284816568' } print('登录提交数据',data) print('登录中....!') """第二次用表单post请求，携带Cookie、浏览器代理、用户登录信息，进行登录给Cookie授权""" return [scrapy.FormRequest( url='https://www.zhihu.com/login/phone_num', #真实post地址 meta={'cookiejar':response.meta['cookiejar']}, #接收第传过来的Cookies headers=self.header, formdata=data, callback=self.next )] def next(self,response): # 请求Cookie Cookie2 = response.request.headers.getlist('Cookie') print('登录时携带请求的Cookies：',Cookie2) jieg = response.body.decode("utf-8") #登录后可以查看一下登录响应信息 print('登录响应结果：',jieg) print('正在请需要登录才可以访问的页面....!') """登录后请求需要登录才能查看的页面，如个人中心，携带授权后的Cookie请求""" yield Request( url='https://www.zhihu.com/people/lin-gui-xiu-41/activities', headers=self.header, meta={'cookiejar':True}, callback=self.next2 ) def next2(self,response): # 请求Cookie Cookie3 = response.request.headers.getlist('Cookie') print('查看需要登录才可以访问的页面携带Cookies：',Cookie3) leir = response.xpath('/html/head/title/text()').extract() #得到个人中心页面 print('最终内容',leir) # print(response.body.decode("utf-8")) 【转载自：http://www.lqkweb.com】
-
发表了文章 2019-07-06
21、 Python快速开发分布式搜索引擎Scrapy精讲—爬虫数据保存
注意：数据保存的操作都是在pipelines.py文件里操作的 将数据保存为json文件 spider是一个信号检测 # -*- coding: utf-8 -*- # Define your item pipelines here # # Don't forget to add your pipeline to the ITEM_PIPELINES setting # See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html from scrapy.pipelines.images import ImagesPipeline #导入图片下载器模块 import codecs import json class AdcPipeline(object): #定义数据处理类，必须继承object def __init__(self): self.file = codecs.open('shuju.json', 'w', encoding='utf-8') #初始化时打开json文件 def process_item(self, item, spider): #process_item(item)为数据处理函数，接收一个item，item里就是爬虫最后yield item 来的数据对象 # print('文章标题是：' + item['title'][0]) # print('文章缩略图url是：' + item['img'][0]) # print('文章缩略图保存路径是：' + item['img_tplj']) #接收图片下载器填充的，图片下载后的路径 #将数据保存为json文件 lines = json.dumps(dict(item), ensure_ascii=False) + '\n' #将数据对象转换成json格式 self.file.write(lines) #将json格式数据写入文件 return item def spider_closed(self,spider): #创建一个方法继承spider，spider是一个信号，当前数据操作完成后触发这个方法 self.file.close() #关闭打开文件 class imgPipeline(ImagesPipeline): #自定义一个图片下载内，继承crapy内置的ImagesPipeline图片下载器类 def item_completed(self, results, item, info): #使用ImagesPipeline类里的item_completed()方法获取到图片下载后的保存路径 for ok, value in results: img_lj = value['path'] #接收图片保存路径 # print(ok) item['img_tplj'] = img_lj #将图片保存路径填充到items.py里的字段里 return item #将item给items.py 文件的容器函数 #注意：自定义图片下载器设置好后，需要在 将数据保存到数据库 我们使用一个ORM框架sqlalchemy模块，保存数据 数据库操作文件 #!/usr/bin/env python # -*- coding:utf-8 -*- from sqlalchemy.ext.declarative import declarative_base from sqlalchemy import Column from sqlalchemy import Integer, String, TIMESTAMP from sqlalchemy import ForeignKey, UniqueConstraint, Index from sqlalchemy.orm import sessionmaker, relationship from sqlalchemy import create_engine #配置数据库引擎信息 ENGINE = create_engine("mysql+pymysql://root:279819@127.0.0.1:3306/cshi?charset=utf8", max_overflow=10, echo=True) Base = declarative_base() #创建一个SQLORM基类 class SendMsg(Base): #设计表 __tablename__ = 'sendmsg' id = Column(Integer, primary_key=True, autoincrement=True) title = Column(String(300)) img_tplj = Column(String(300)) def init_db(): Base.metadata.create_all(ENGINE) #向数据库创建指定表 def drop_db(): Base.metadata.drop_all(ENGINE) #向数据库删除指定表 def session(): cls = sessionmaker(bind=ENGINE) #创建sessionmaker类,操作表 return cls() # drop_db() #删除表 # init_db() #创建表 pipelines.py文件 # -*- coding: utf-8 -*- # Define your item pipelines here # # Don't forget to add your pipeline to the ITEM_PIPELINES setting # See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html from scrapy.pipelines.images import ImagesPipeline #导入图片下载器模块 from adc import shujuku as ORM #导入数据库文件 class AdcPipeline(object): #定义数据处理类，必须继承object def __init__(self): ORM.init_db() #创建数据库表 def process_item(self, item, spider): #process_item(item)为数据处理函数，接收一个item，item里就是爬虫最后yield item 来的数据对象 print('文章标题是：' + item['title'][0]) print('文章缩略图url是：' + item['img'][0]) print('文章缩略图保存路径是：' + item['img_tplj']) #接收图片下载器填充的，图片下载后的路径 mysq = ORM.session() shuju = ORM.SendMsg(title=item['title'][0], img_tplj=item['img_tplj']) mysq.add(shuju) mysq.commit() return item class imgPipeline(ImagesPipeline): #自定义一个图片下载内，继承crapy内置的ImagesPipeline图片下载器类 def item_completed(self, results, item, info): #使用ImagesPipeline类里的item_completed()方法获取到图片下载后的保存路径 for ok, value in results: img_lj = value['path'] #接收图片保存路径 # print(ok) item['img_tplj'] = img_lj #将图片保存路径填充到items.py里的字段里 return item #将item给items.py 文件的容器函数 #注意：自定义图片下载器设置好后，需要在 【转载自：http://www.lqkweb.com】
-
发表了文章 2019-07-05
20、 Python快速开发分布式搜索引擎Scrapy精讲—编写spiders爬虫文件循环抓取内容—meta属性返回指定值给回调函数—Scrapy内置图片下载器
编写spiders爬虫文件循环抓取内容 Request()方法，将指定的url地址添加到下载器下载页面，两个必须参数， 参数： url='url' callback=页面处理函数 使用时需要yield Request() parse.urljoin()方法，是urllib库下的方法，是自动url拼接，如果第二个参数的url地址是相对路径会自动与第一个参数拼接 # -*- coding: utf-8 -*- import scrapy from scrapy.http import Request #导入url返回给下载器的方法 from urllib import parse #导入urllib库里的parse模块 class PachSpider(scrapy.Spider): name = 'pach' allowed_domains = ['blog.jobbole.com'] #起始域名 start_urls = ['http://blog.jobbole.com/all-posts/'] #起始url def parse(self, response): """ 获取列表页的文章url地址，交给下载器 """ #获取当前页文章url lb_url = response.xpath('//a[@class="archive-title"]/@href').extract() #获取文章列表url for i in lb_url: # print(parse.urljoin(response.url,i)) #urllib库里的parse模块的urljoin()方法，是自动url拼接，如果第二个参数的url地址是相对路径会自动与第一个参数拼接 yield Request(url=parse.urljoin(response.url, i), callback=self.parse_wzhang) #将循环到的文章url添加给下载器，下载后交给parse_wzhang回调函数 #获取下一页列表url,交给下载器，返回给parse函数循环 x_lb_url = response.xpath('//a[@class="next page-numbers"]/@href').extract() #获取下一页文章列表url if x_lb_url: yield Request(url=parse.urljoin(response.url, x_lb_url[0]), callback=self.parse) #获取到下一页url返回给下载器，回调给parse函数循环进行 def parse_wzhang(self,response): title = response.xpath('//div[@class="entry-header"]/h1/text()').extract() #获取文章标题 print(title) Request()函数在返回url时，同时可以通过meta属性返回一个自定义字典给回调函数 # -*- coding: utf-8 -*- import scrapy from scrapy.http import Request #导入url返回给下载器的方法 from urllib import parse #导入urllib库里的parse模块 from adc.items import AdcItem #导入items数据接收模块的接收类 class PachSpider(scrapy.Spider): name = 'pach' allowed_domains = ['blog.jobbole.com'] #起始域名 start_urls = ['http://blog.jobbole.com/all-posts/'] #起始url def parse(self, response): """ 获取列表页的文章url地址，交给下载器 """ #获取当前页文章url lb = response.css('div .post.floated-thumb') #获取文章列表区块,css选择器 # print(lb) for i in lb: lb_url = i.css('.archive-title ::attr(href)').extract_first('') #获取区块里文章url # print(lb_url) lb_img = i.css('.post-thumb img ::attr(src)').extract_first('') #获取区块里文章缩略图 # print(lb_img) yield Request(url=parse.urljoin(response.url, lb_url), meta={'lb_img':parse.urljoin(response.url, lb_img)}, callback=self.parse_wzhang) #将循环到的文章url添加给下载器，下载后交给parse_wzhang回调函数 #获取下一页列表url,交给下载器，返回给parse函数循环 x_lb_url = response.css('.next.page-numbers ::attr(href)').extract_first('') #获取下一页文章列表url if x_lb_url: yield Request(url=parse.urljoin(response.url, x_lb_url), callback=self.parse) #获取到下一页url返回给下载器，回调给parse函数循环进行 def parse_wzhang(self,response): title = response.css('.entry-header h1 ::text').extract() #获取文章标题 # print(title) tp_img = response.meta.get('lb_img', '') #接收meta传过来的值，用get获取防止出错 # print(tp_img) shjjsh = AdcItem() #实例化数据接收类 shjjsh['title'] = title #将数据传输给items接收模块的指定类 shjjsh['img'] = tp_img yield shjjsh #将接收对象返回给pipelines.py处理模块 * Scrapy内置图片下载器使用 Scrapy给我们内置了一个图片下载器在crapy.pipelines.images.ImagesPipeline，专门用于将爬虫抓取到图片url后将图片下载到本地 第一步、爬虫抓取图片URL地址后，填充到 items.py文件的容器函数 爬虫文件 # -*- coding: utf-8 -*- import scrapy from scrapy.http import Request #导入url返回给下载器的方法 from urllib import parse #导入urllib库里的parse模块 from adc.items import AdcItem #导入items数据接收模块的接收类 class PachSpider(scrapy.Spider): name = 'pach' allowed_domains = ['blog.jobbole.com'] #起始域名 start_urls = ['http://blog.jobbole.com/all-posts/'] #起始url def parse(self, response): """ 获取列表页的文章url地址，交给下载器 """ #获取当前页文章url lb = response.css('div .post.floated-thumb') #获取文章列表区块,css选择器 # print(lb) for i in lb: lb_url = i.css('.archive-title ::attr(href)').extract_first('') #获取区块里文章url # print(lb_url) lb_img = i.css('.post-thumb img ::attr(src)').extract_first('') #获取区块里文章缩略图 # print(lb_img) yield Request(url=parse.urljoin(response.url, lb_url), meta={'lb_img':parse.urljoin(response.url, lb_img)}, callback=self.parse_wzhang) #将循环到的文章url添加给下载器，下载后交给parse_wzhang回调函数 #获取下一页列表url,交给下载器，返回给parse函数循环 x_lb_url = response.css('.next.page-numbers ::attr(href)').extract_first('') #获取下一页文章列表url if x_lb_url: yield Request(url=parse.urljoin(response.url, x_lb_url), callback=self.parse) #获取到下一页url返回给下载器，回调给parse函数循环进行 def parse_wzhang(self,response): title = response.css('.entry-header h1 ::text').extract() #获取文章标题 # print(title) tp_img = response.meta.get('lb_img', '') #接收meta传过来的值，用get获取防止出错 # print(tp_img) shjjsh = AdcItem() #实例化数据接收类 shjjsh['title'] = title #将数据传输给items接收模块的指定类 shjjsh['img'] = [tp_img] yield shjjsh #将接收对象返回给pipelines.py处理模块 第二步、设置 items.py 文件的容器函数，接收爬虫获取到的数据填充 # -*- coding: utf-8 -*- # Define here the models for your scraped items # # See documentation in: # http://doc.scrapy.org/en/latest/topics/items.html import scrapy #items.py,文件是专门用于，接收爬虫获取到的数据信息的，就相当于是容器文件 class AdcItem(scrapy.Item): #设置爬虫获取到的信息容器类 title = scrapy.Field() #接收爬虫获取到的title信息 img = scrapy.Field() #接收缩略图 img_tplj = scrapy.Field() #图片保存路径 第三步、在pipelines.py使用crapy内置的图片下载器 1、首先引入内置图片下载器 2、自定义一个图片下载内，继承crapy内置的ImagesPipeline图片下载器类 3、使用ImagesPipeline类里的item_completed()方法获取到图片下载后的保存路径 4、在settings.py设置文件里，注册自定义图片下载器类，和设置图片保存路径 # -*- coding: utf-8 -*- # Define your item pipelines here # # Don't forget to add your pipeline to the ITEM_PIPELINES setting # See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html from scrapy.pipelines.images import ImagesPipeline #导入图片下载器模块 class AdcPipeline(object): #定义数据处理类，必须继承object def process_item(self, item, spider): #process_item(item)为数据处理函数，接收一个item，item里就是爬虫最后yield item 来的数据对象 print('文章标题是：' + item['title'][0]) print('文章缩略图url是：' + item['img'][0]) print('文章缩略图保存路径是：' + item['img_tplj']) #接收图片下载器填充的，图片下载后的路径 return item class imgPipeline(ImagesPipeline): #自定义一个图片下载内，继承crapy内置的ImagesPipeline图片下载器类 def item_completed(self, results, item, info): #使用ImagesPipeline类里的item_completed()方法获取到图片下载后的保存路径 for ok, value in results: img_lj = value['path'] #接收图片保存路径 # print(ok) item['img_tplj'] = img_lj #将图片保存路径填充到items.py里的字段里 return item #将item给items.py 文件的容器函数 #注意：自定义图片下载器设置好后，需要在 在settings.py设置文件里，注册自定义图片下载器类，和设置图片保存路径 IMAGES_URLS_FIELD 设置要下载图片的url地址，一般设置的items.py里接收的字段IMAGES_STORE 设置图片保存路径 # Configure item pipelines # See http://scrapy.readthedocs.org/en/latest/topics/item-pipeline.html ITEM_PIPELINES = { 'adc.pipelines.AdcPipeline': 300, #注册adc.pipelines.AdcPipeline类，后面一个数字参数表示执行等级， 'adc.pipelines.imgPipeline': 1, #注册自定义图片下载器,数值越小，越优先执行 } IMAGES_URLS_FIELD = 'img' #设置要下载图片的url字段，就是图片在items.py里的字段里 lujin = os.path.abspath(os.path.dirname(__file__)) IMAGES_STORE = os.path.join(lujin, 'img') #设置图片保存路径 【转载自：http://www.lqkweb.com】
滑动查看更多
暂无更多信息
-
发表了文章
2019-07-30
24、Python快速开发分布式搜索引擎Scrapy精讲—爬虫和反爬的对抗过程以及策略—scrapy架构源码分析图
-
发表了文章
2019-07-13
23、 Python快速开发分布式搜索引擎Scrapy精讲—craw母版l创建自动爬虫文件—以及 scrapy item loader机制
-
发表了文章
2019-07-12
22、Python快速开发分布式搜索引擎Scrapy精讲—scrapy模拟登陆和知乎倒立文字验证码识别
-
发表了文章
2019-07-06
21、 Python快速开发分布式搜索引擎Scrapy精讲—爬虫数据保存
-
发表了文章
2019-07-05
20、 Python快速开发分布式搜索引擎Scrapy精讲—编写spiders爬虫文件循环抓取内容—meta属性返回指定值给回调函数—Scrapy内置图片下载器
-
发表了文章
2019-07-05
19、 Python快速开发分布式搜索引擎Scrapy精讲—css选择器
-
发表了文章
2019-07-04
18、 Python快速开发分布式搜索引擎Scrapy精讲—Scrapy启动文件的配置—xpath表达式
-
发表了文章
2019-07-02
17、Python快速开发分布式搜索引擎Scrapy精讲—深度优先与广度优先原理
-
发表了文章
2019-07-02
16、web爬虫讲解2—PhantomJS虚拟浏览器+selenium模块操作PhantomJS
-
发表了文章
2019-07-01
15、web爬虫讲解2—urllib库中使用xpath表达式—BeautifulSoup基础
-
发表了文章
2019-07-01
14、web爬虫讲解2—Scrapy框架爬虫—豆瓣登录与利用打码接口实现自动识别验证码
-
发表了文章
2019-07-01
13、web爬虫讲解2—Scrapy框架爬虫—Scrapy爬取百度新闻，爬取Ajax动态生成的信息
-
发表了文章
2019-06-27
12、web爬虫讲解2—Scrapy框架爬虫—Scrapy模拟浏览器登录—获取Scrapy框架Cookies
-
发表了文章
2019-06-27
11、web爬虫讲解2—Scrapy框架爬虫—Scrapy使用
-
发表了文章
2019-06-27
10、web爬虫讲解2—Scrapy框架爬虫—Scrapy安装—Scrapy指令
-
发表了文章
2019-06-26
9、web爬虫讲解2—urllib库爬虫—实战爬取搜狗微信公众号—抓包软件安装Fiddler4讲解
-
发表了文章
2019-06-26
8、web爬虫讲解2—urllib库爬虫—ip代理—用户代理和ip代理结合应用
-
发表了文章
2019-06-26
7、web爬虫讲解2—urllib库爬虫—状态吗—异常处理—浏览器伪装技术、设置用户代理
-
发表了文章
2019-06-26
6、web爬虫讲解2—urllib库爬虫—基础使用—超时设置—自动模拟http请求
-
发表了文章
2019-06-11
5、web爬虫，scrapy模块,解决重复ur——自动递归url
滑动查看更多
暂无更多信息