14、web爬虫讲解2—Scrapy框架爬虫—豆瓣登录与利用打码接口实现自动识别验证码

简介: 打码接口文件 # -*- coding: cp936 -*- import sys import os from ctypes import * # 下载接口放目录 http://www.

打码接口文件

# -*- coding: cp936 -*-

import sys
import os
from ctypes import *

# 下载接口放目录 http://www.yundama.com/apidoc/YDM_SDK.html
# 错误代码请查询 http://www.yundama.com/apidoc/YDM_ErrorCode.html
# 所有函数请查询 http://www.yundama.com/apidoc

print('>>>正在初始化...')

YDMApi = windll.LoadLibrary('H:/py/16/adc/adc/yamzhm/yundamaAPI-x64')

# 1. http://www.yundama.com/index/reg/developer 注册开发者账号
# 2. http://www.yundama.com/developer/myapp 添加新软件
# 3. 使用添加的软件ID和密钥进行开发,享受丰厚分成

appId = 3818   # 软件ID,开发者分成必要参数。登录开发者后台【我的软件】获得!
appKey = b'6ff56e09e89fffe45c14abe624af9456'     # 软件密钥,开发者分成必要参数。登录开发者后台【我的软件】获得!

# print('软件ID:%d\r\n软件密钥:%s' % (appId, appKey))

# 注意这里是普通会员账号,不是开发者账号,注册地址 http://www.yundama.com/index/reg/user
# 开发者可以联系客服领取免费调试题分

username = b'adc8868'
password = b'adc279819'

if username == b'test':
    exit('\r\n>>>请先设置用户名密码')
    
####################### 一键识别函数 YDM_EasyDecodeByPath #######################

# print('\r\n>>>正在一键识别...')
#
# # 例:1004表示4位字母数字,不同类型收费不同。请准确填写,否则影响识别率。在此查询所有类型 http://www.yundama.com/price.html
# codetype = 1004
#
# # 分配30个字节存放识别结果
# result = c_char_p(b"                              ")
#
# # 识别超时时间 单位:秒
# timeout = 60
#
# # 验证码文件路径
# filename = b'H:/py/16/adc/adc/yamzhm/yan_zhe_nma.jpg'
#
# # 一键识别函数,无需调用 YDM_SetAppInfo 和 YDM_Login,适合脚本调用
# captchaId = YDMApi.YDM_EasyDecodeByPath(username, password, appId, appKey, filename, codetype, timeout, result)
#
# print("一键识别:验证码ID:%d,识别结果:%s" % (captchaId, result.value))

################################################################################


########################## 普通识别函数 YDM_DecodeByPath #########################



# print('\r\n>>>正在登陆...')

# 第一步:初始化云打码,只需调用一次即可
YDMApi.YDM_SetAppInfo(appId, appKey)

# 第二步:登陆云打码账号,只需调用一次即可
uid = YDMApi.YDM_Login(username, password)

if uid > 0:

    # print('>>>正在获取余额...')
    
    # 查询账号余额,按需要调用
    balance = YDMApi.YDM_GetBalance(username, password)

    print('登陆成功,用户名:%s,剩余题分:%d' % (username, balance))

    print('\r\n>>>正在普通识别...')

    # 第三步:开始识别

    # 例:1004表示4位字母数字,不同类型收费不同。请准确填写,否则影响识别率。在此查询所有类型 http://www.yundama.com/price.html
    codetype = 3000

    # 分配30个字节存放识别结果
    result = c_char_p(b"                              ")

    # 验证码文件路径
    filename = b'H:/py/16/adc/adc/yamzhm/yan_zhe_nma.jpg'

    # 普通识别函数,需先调用 YDM_SetAppInfo 和 YDM_Login 初始化
    captchaId = YDMApi.YDM_DecodeByPath(filename, codetype, result)

    print("普通识别:验证码ID:%d,识别结果:%s" % (captchaId, result.value))

else:
    print('登陆失败,错误代码:%d' % uid)

################################################################################

# print('\r\n>>>错误代码请查询 http://www.yundama.com/apidoc/YDM_ErrorCode.html')

# input('\r\n测试完成,按回车键结束...')

实现文件

# -*- coding: utf-8 -*-
import os
from urllib import request                     #导入request模块

import scrapy
from scrapy.http import Request,FormRequest


class PachSpider(scrapy.Spider):                            #定义爬虫类,必须继承scrapy.Spider
    name = 'pach'                                           #设置爬虫名称
    allowed_domains = ['douban.com']                    #爬取域名
    # start_urls = ['']                                     #爬取网址,只适于不需要登录的请求,因为没法设置cookie等信息

    header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0'}  #设置浏览器用户代理

    def start_requests(self):
        """第一次请求一下登录页面,设置开启cookie使其得到cookie,设置回调函数"""
        print("第一次请求页面获取Cookies.........!")
        return [Request('https://accounts.douban.com/login',meta={'cookiejar':1},callback=self.parse,headers=self.header)]


    def parse(self, response):
        # 响应Cookies
        Cookie1 = response.headers.getlist('Set-Cookie')                            #查看一下响应Cookie,也就是第一次访问注册页面时后台写入浏览器的Cookie
        print('后台首次写入的响应Cookies:',Cookie1)

        #判断是否出现验证码
        yzhm = response.xpath('//img[@id="captcha_image"]/@src').extract()
        if len(yzhm) > 0:
            print("出现验证码,请输入验证码")
            print('验证码图片地址:',yzhm)
            #将验证码图片保存到本地
            file_path = os.path.join(os.getcwd() + '/adc/yamzhm/yan_zhe_nma.jpg')   # 拼接图片保存路径
            print(file_path)
            request.urlretrieve(yzhm[0], file_path)                             # 将图片保存到本地,参数1获取到的src,参数2保存路径

            #使用在线打码,自动识别验证码
            from adc.yamzhm import YDMPython3                                   #导入打码模块
            yan_zhen_ma = str(YDMPython3.result.value,encoding='utf-8')         #接收打码结果
            print('写入验证码',yan_zhen_ma)

            data = {                                                            # 设置用户登录信息,对应抓包得到字段
                'source': 'None',
                'redir': 'https://www.douban.com/people/81309370/',
                'form_email': '729088188@qq.com',
                'form_password': 'adc279819',
                'login': '登录',
                'captcha-solution': yan_zhen_ma
            }

            print('第二次post请求携带Cookies授权,登录中........!')

            """第二次用表单post请求,携带Cookie、浏览器代理、用户登录信息,进行登录给Cookie授权"""
            return [FormRequest.from_response(response,
                                              url='https://accounts.douban.com/login',                        #真实post地址
                                              meta={'cookiejar':response.meta['cookiejar']},
                                              headers=self.header,
                                              formdata=data,
                                              callback=self.next,
                                              )]
        else:
            data = {  # 设置用户登录信息,对应抓包得到字段
                'source': 'None',
                'redir': 'https://www.douban.com/people/81309370/',
                'form_email': '729088188@qq.com',
                'form_password': 'adc279819',
                'login': '登录',
            }

            print('第二次post请求携带Cookies授权,登录中........!')

            """第二次用表单post请求,携带Cookie、浏览器代理、用户登录信息,进行登录给Cookie授权"""
            return [FormRequest.from_response(response,
                                              url='https://accounts.douban.com/login',  # 真实post地址
                                              meta={'cookiejar': response.meta['cookiejar']},
                                              headers=self.header,
                                              formdata=data,
                                              callback=self.next,
                                              )]



    def next(self,response):
        # 请求Cookie
        Cookie2 = response.request.headers.getlist('Cookie')
        print('登录时携带请求的Cookies:',Cookie2)

        dlujieg = response.xpath('/html/head/title/text()').extract()
        if dlujieg:
            print('登录响应结果:',dlujieg)
        else:
            jieg = response.body.decode("utf-8")   #登录后可以查看一下登录响应信息
            print('登录响应结果:',jieg)

        print('第三次请求携带授权Cookie,请求需要登录才能查看的页面.........!')
        yield Request('https://www.douban.com/people/81309370/',meta={'cookiejar':True},headers=self.header,callback=self.next2)


    def next2(self,response):
        # 请求Cookie
        Cookie3 = response.request.headers.getlist('Cookie')
        print('查看需要登录才可以访问的页面携带Cookies:',Cookie3)

        leir = response.xpath('/html/head/title/text()').extract()  #得到个人中心页面
        print('最终内容',leir)
        # leir2 = response.xpath('//div[@class="set-tags"]/a/text()').extract()  # 得到个人中心页面
        # print(leir2)

【转载自:http://www.lqkweb.com

相关文章
|
4天前
|
数据采集 中间件 开发者
Scrapy爬虫框架-自定义中间件
Scrapy爬虫框架-自定义中间件
17 1
|
4天前
|
数据采集 中间件 Python
Scrapy爬虫框架-通过Cookies模拟自动登录
Scrapy爬虫框架-通过Cookies模拟自动登录
17 0
|
1天前
|
消息中间件 数据采集 数据库
小说爬虫-03 爬取章节的详细内容并保存 将章节URL推送至RabbitMQ Scrapy消费MQ 对数据进行爬取后写入SQLite
小说爬虫-03 爬取章节的详细内容并保存 将章节URL推送至RabbitMQ Scrapy消费MQ 对数据进行爬取后写入SQLite
8 1
|
1天前
|
消息中间件 数据采集 数据库
小说爬虫-02 爬取小说详细内容和章节列表 推送至RabbitMQ 消费ACK确认 Scrapy爬取 SQLite
小说爬虫-02 爬取小说详细内容和章节列表 推送至RabbitMQ 消费ACK确认 Scrapy爬取 SQLite
9 1
|
1天前
|
数据采集 SQL 数据库
小说爬虫-01爬取总排行榜 分页翻页 Scrapy SQLite SQL 简单上手!
小说爬虫-01爬取总排行榜 分页翻页 Scrapy SQLite SQL 简单上手!
8 0
|
1天前
|
数据采集 消息中间件 API
Python爬虫验证码识别——手机验证码的自动化处理
Python爬虫验证码识别——手机验证码的自动化处理
|
5月前
|
数据采集 中间件 Python
Scrapy爬虫:利用代理服务器爬取热门网站数据
Scrapy爬虫:利用代理服务器爬取热门网站数据
|
4天前
|
数据采集 中间件 数据挖掘
Scrapy 爬虫框架(一)
Scrapy 爬虫框架(一)
13 0
|
4天前
|
数据采集 XML 前端开发
Scrapy 爬虫框架(二)
Scrapy 爬虫框架(二)
|
2月前
|
数据采集 中间件 调度
Scrapy 爬虫框架的基本使用
Scrapy 爬虫框架的基本使用