一、背景

之前有记录过普通的scrapy模拟登录，这种方法可以满足了日常爬虫的登录需求。

但是技术一直在进步，近几年前后端分离的趋势越来越好，很多web都采用前后端分离的技术。那么登录后的用户权限验证就会出现jwt的形式。（主要是token方式的验证，在模拟登录中要解决的问题）

这里记录一下。

二、登录操作

前后端分离的项目，一般都是react、vue等js语言编写的（没有这方面经验的同志，可以不用往下看了）

有些会采用成型的前端框架，如AntDesign，ElementUI等，它们写出来的web页面，如果用css定位或者xpath定位，是很不准确的。所以最好的办法就是观察数据流，找到api和发送的参数进行构造。

以这里的登录为例，通过css定位其实也可以，但是有不稳定的风险。所以还是看api和参数比较稳妥，毕竟css怎么变，api都不会随意改变。

选中post那条数据流，看到右侧的请求地址、请求头和参数

[图片上传失败...(image-9401fa-1531469273677)]

这样就可以根据请求地址、请求头和参数来构造登录用的代码：

    def start_requests(self):
        """ 重载start_requests方法 通过is_login方法判断是否成功登录 """
        login_url = "http://xxx.yyy.ccc.aa/api/v1/oauth/login"
        login_data = {
            "username": "abcd@easub.com",
            "password": "faabbccddeeffggd5",
            "type": "email"
        }

        return [scrapy.FormRequest(url=login_url, formdata=login_data, callback=self.is_login)]

    def is_login(self, response):
        """
        根据返回值中的message值来判断是否登录成功
            如果登录成功则对数据传输页发起请求，并将结果回传给parse方法
            如果登录失败则提示
        由于后面的用户权限验证需要用到token信息，所以这里取到登录后返回的token并传递给下一个方法
        """
        results = json.loads(response.text)
        if results['message'] == "succeed":
            urls = 'http://xxx.yyy.ccc.aa'
            access_token = results['data']['access_token']
            print("登录成功，开始调用方法")
            yield Request(url=urls, callback=self.parse, meta={"access_token": access_token})
        else:
            print("登录失败，请重新检查")

如果返回信息的json里面message值为succeed及认为登录成功，并调用parse方法。

三、用户权限验证

登录完毕后，我想执行其他的操作，比如上传(post)数据,跟刚才一样，需要观察api的地址和所需参数请求头信息等。

同样是根据返回的参数和请求头，来构造代码

然而这次却不行，返回的状态码是401，由于scrapy默认只管200和300的状态码，4开头和5开头的都不处理。但是又需要观察401状态返回的东西，可以在settings.py中空白处新增代码：

""" 状态码处理 """
HTTPERROR_ALLOWED_CODES = [400, 401]

然后在下一个方法中观察response回来的数据。

======================================

后来又查询了401的意思，就是未获得授权，也就是用户权限验证不通过，经过多方资料查找，发现请求头中有这么一条：

[图片上传失败...(image-1322be-1531469273677)]

它就是用于用户权限验证的，authorization的值分为两部分<type>和<credentials>,前者是验证采用的类型，后者是具体的参数值。这里的类型可以看到用的是Bearer类型，（传说值默认是用户名+密码的base64字符串，但这个这么长，显然不是64）。

我又去观察登录时候的返回值，发现登录成功后的返回值除了succeed之外，还有其他的一些返回值，里面包括了一个叫access_token的字段，它是用于JWT登录方式用来鉴权的token信息，而且authorization用的也正好就是这个token作为值。

那么代码就应该在第一次登录时候，取出access_token的值，并传递下去，用于后面请求的鉴权：

    def is_login(self, response):
        """
        根据返回值中的message值来判断是否登录成功
            如果登录成功则对数据传输页发起请求，并将结果回传给parse方法
            如果登录失败则提示
        由于后面的用户权限验证需要用到token信息，所以这里取到登录后返回的token并传递给下一个方法
        """
        results = json.loads(response.text)
        if results['message'] == "succeed":
            urls = 'http://xxx.yyy.ccc.aa'
            access_token = results['data']['access_token']
            print("登录成功，开始调用方法")
            yield Request(url=urls, callback=self.parse, meta={"access_token": access_token})
        else:
            print("登录失败，请重新检查")

下面的pase方法中，将authorization设定到header中以对数据进行请求：

header = {
            "authorization": "Bearer " + access_token
        }

这样就解决了用户权限的问题，不再出现401

四、postman发送请求特殊格式数据(json)

在parse方法中，根据浏览器观察到的参数，进行构造：

datas = {
                "url": "https://www.youtube.com/watch?v=eWeACm7v01Y",
                "title": "看上去可爱其实很笨的狗#动物萌宠#",
                "share_text": "看上去可爱其实很笨的狗#动物萌宠#[doge]",
                "categories": {'0': '00e2e120-37fd-47a8-a96b-c6fec7eb563d'}
        }

由于categories里面是个数组，所以在构造的时候也可以直接写数据，然后用scrapy.Formdata来进行post。发现返回的状态是这次是400，并且提示：categories必须是数组

再次观察请求头信息，发现请求头信息中还有：

[图片上传失败...(image-e2574e-1531469273677)]

叫做content-type的参数，我将它加入到header中：

        header = {
            "authorization": "Bearer " + access_token,
            "content-type": "application/json",
        }

这样关于categories的提示就没有了。但是返回的状态码依然是400，而且提示变成了url不能为空，这到底又是怎么一回事？

多方探查都没有结果。

真是伤心

后来我又想起了，既然这里的文本类型是application/json，那么提交出去的文本应该是json类型数据，而不是python的dict字典类型数据。

于是打开json在线解析，对传递的参数进行观察，发现这样的数据并不满足json格式：

后来尝试对它进行更改：

在外层增加了一对{}，然后又将categories的值加上了双引号，才是正确的json格式。

但是如果这样，拿到postman中进行测试，是不行的，后来经过反复测试，最终确定了postman的请求格式为：

对Auth、Headers和Raw进行设置，才终于成功发送post，返回正确的信息!!!

五、scrapy发送Json格式数据

在postman测试通过后，说明这样的做法是可行的，但是代码上怎么编写呢？

用之前的scrapy.Formdata是不行的，它的formdat=默认使用dict格式，如果强行转成json格式也是会报错的。经过群里咨询和搜索，发现要用scrapy.http的Requst方法（平时常用的这个）：

access_token = response.meta['access_token']
        urls = "http://aaa.bbb.xxx.yy/api/v1/material/extract"
        datas = {
                "url": "https://www.youtube.com/watch?v=eWeACm7v01Y",
                "title": "看上去可爱其实很笨的狗#动物萌宠#",
                "share_text": "看上去可爱其实很笨的狗#动物萌宠#[doge]",
                "categories": {'0': '00e2e120-37fd-47a8-a96b-c6fec7eb563d'}
        }
        header = {
            "authorization": "Bearer " + access_token,
            "content-type": "application/json",
        }
        yield Request(url=urls, method='POST', body=json.dumps(datas), headers=header, callback=self.parse_details)

这样才发送请求，终于成功了！！！