Python爬虫——基于JWT的模拟登录爬取实战

简介: Python爬虫——基于JWT的模拟登录爬取实战

基于JWT的模拟登录爬取实战
JWT(JSON Web Token)主要由三部分组成:

  1. Header:包含了Token的类型(“typ”)和签名算法(“alg”)信息。通常情况下,这个部分会指定为{"alg": "HS256", "typ": "JWT"},表示使用HMAC SHA-256算法进行签名。
  2. Payload:包含了要传输的信息,也称为声明(claims)。其中可以包含注册声明(registered claims)、公共声明(public claims)和私有声明(private claims),例如用户ID、姓名等信息。一些注册声明包括iss(issuer)、sub(subject)、aud(audience)、exp(expiration time)、nbf(not before time)等。
  3. Signature:对Header和Payload进行签名后生成的结果,以确保JWT的完整性和真实性。签名通常使用Base64编码的Header和Payload,并结合一个密钥使用指定的算法进行计算得到。

JWT的三个部分都是使用Base64 URL编码的,并且它们之间通过句点(.)来分隔。最终生成的JWT字符串就是由这三部分组成的。.JWT的格式是明文的,因此不应将敏感数据直接存储在JWT中,特别是不要在Payload中存储敏感信息,因为Payload中的内容可以被Base64解码。敏感信息应该通过加密或其他安全手段进行处理。

案例介绍
案例网站是https://login3.scrape.center/,访问这个网站,同样会打开一个登录页面,如图所示。

image.png

用户名和密码都是admin,输入后点击登录按钮会跳转到首页,证明登录成功。

模拟登录
基于JWT的网站通常采用的是前后端分离式,前后端的数据传输依赖于Ajax,登录验证依赖于JWT这个本身就是token的值,如果JWT经验证是有效的,服务器就会返回相应的数据。打开开发者工具,执行登录操作,看一下登录过程中产生的请求,如图所示:

image.png
image.png

从上图中可以看出,登录时的请求URL为https://login3.scrape.center/api/login,是通过Ajax请求的。请求体是JSON格式的数据,而不是表单数据,返回状态码为200.然后看一下返回结果是怎样的,如下图所示:

image.png

从上图中看出,返回结果也是JSON格式的数据,包含一个token字段,其内容为:

"token": "eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJ1c2VyX2lkIjoxLCJ1c2VybmFtZSI6ImFkbWluIiwiZXhwIjoxNzEyMTkyMDY1LCJlbWFpbCI6ImFkbWluQGFkbWluLmNvbSIsIm9yaWdfaWF0IjoxNzEyMTQ4ODY1fQ.-SIR4TI_nqkyfKoV7OudZeMnIGz09D4CxS6H8ANOAJM"
AI 代码解读

由“."把整个字符串分为三段。有了这个JWT,怎么获取后续的数据呢?翻下一页,看看后续的请求内容,如下图所示:

image.png

从上图中可看出,在后续发出的用于获取数据的Ajax请求中,请求头里多了一个Authorization字段,其内容为jwt加上刚才图中token字段的内容,返回结果也是JSON格式数据,如图所示:
image.png

可以看出,返回结果正是网站首页显示的内容,这也是我们应该模拟爬取的内容。那么现在,模拟登录的整个思路就有了,其实就是如下两个步骤:

  1. 模拟登录请求,带上必要的登录信息,获取返回的JWT;
  2. 之后发送请求时,在请求头里面加上Authorization字段,值就是JWT对应的内容。

实现代码如下:

import requests
from urllib.parse import urljoin

BASE_URL = '<https://login3.scrape.center/>'
LOGIN_URL = urljoin(BASE_URL, '/api/login')
INDEX_URL = urljoin(BASE_URL, '/api/book')
USERNAME = 'admin'
PASSWORD = 'admin'

response_login = requests.post(LOGIN_URL, json={
   
    'username': USERNAME,
    'password': PASSWORD
})

data = response_login.json()
print('Response JSON', data)
jwt = data.get('token')
print('JWT', jwt)

headers = {
   
    'Authorization': f'jwt {jwt}'
}
response_index = requests.get(INDEX_URL, params={
   'limit': 18, 'offset': 0}, headers=headers)
print('Response Status', response_index.status_code)
print('Response URL', response_index.url)
print('Response Data', response_index.json())
AI 代码解读

这里我们先定义了登录接口和获取数据的接口,分别是LOGIN_URL和INDEX_URL,接着调用requests的post方法进行了模拟登录。由于这里提交的数据是JSON格式,所以使用json参数来传递。接着获取并打印出返回结果中包含的JWT。然后构造请求头,设置Authorization字段并传入刚获取的JWT,这样就能成功获取数据了。

运行结果如下:

Response JSON {
   'token': 'eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJ1c2VyX2lkIjoxLCJ1c2VybmFtZSI6ImFkbWluIiwiZXhwIjoxNzEyMTk0MTMxLCJlbWFpbCI6ImFkbWluQGFkbWluLmNvbSIsIm9yaWdfaWF0IjoxNzEyMTUwOTMxfQ.jJNKrqLFxjmedcf333nO9E1XFNXpL-Ab8dF6zP_JUOQ'}
JWT eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJ1c2VyX2lkIjoxLCJ1c2VybmFtZSI6ImFkbWluIiwiZXhwIjoxNzEyMTk0MTMxLCJlbWFpbCI6ImFkbWluQGFkbWluLmNvbSIsIm9yaWdfaWF0IjoxNzEyMTUwOTMxfQ.jJNKrqLFxjmedcf333nO9E1XFNXpL-Ab8dF6zP_JUOQ
Response Status 200
Response URL <https://login3.scrape.center/api/book/?limit=18&offset=0>
Response Data {
   'count': 9200, 'results': [{
   'id': '34473697', 'name': 'R数据科学实战:工具详解与案例分析','authors': ['刘健', '邬书豪'], 'cover': None, 'score': '8.9'}, {
   'id': '34790654', 'name': 'Greenplum:从大数据战略到实现', 'authors': ['冯雷', '姚延栋','高小明', '杨瑜'], 'cover': None, 'score': '8.9'},{
   'id': '34893933', 'name': '江湖外史(2019精装版)','authors': ['王怜花'], 'cover': '<https://cdn.scrape.center/book/s33523792.jpg>', 'score': '8.3'}, {
   'id': '17707842', 'name': None, 'authors': None, 'cover': None, 'score': None}, {
   'id': '27080632', 'name': 'Streaming Systems', 'authors': ['Tyler Akidau', 'Slava Chernyak', 'Reuven Lax'], 'cover': None, 'score': ' 8.9 '}, {
   'id': '1046276', 'name': '温暖和百感交集的旅程', 'authors': ['\\n            余华', '余华作品系列'], 'cover': '<https://cdn.scrape.center/book/s1120387.jpg>', 'score': '8.1'}, {
   'id': '25862578', 'name': '解忧杂货店', 'authors': ['\\n                [日]\\n            东野圭吾', '新经典文化', '新经典文库·东野圭吾作品'], 'cover': '<https://cdn.scrape.center/book/s27264181.jpg>', 'score': '8.5'}, {
   'id': '10554308', 'name': '白夜行', 'authors': ['[日] 东野圭吾'], 'cover': '<https://cdn.scrape.center/book/s24514468.jpg>', 'score': '9.2'}, {
   'id': '4913064', 'name': '活着', 'authors': ['余华'], 'cover': '<https://cdn.scrape.center/book/s29053580.jpg>', 'score': '9.4'}, {
   'id': '6015822', 'name': '在细雨中呼喊', 'authors': ['\\n            余华', '余华作品(2008版)'], 'cover': '<https://cdn.scrape.center/book/s6309302.jpg>', 'score': '8.5'}, {
   'id': '10594787', 'name': '霍乱时期的爱情', 'authors': ['[哥伦比亚] 加西亚·马尔克斯'], 'cover': '<https://cdn.scrape.center/book/s11284102.jpg>', 'score': '9.0'}, {
   'id': '27064488', 'name': '活着', 'authors': ['余华'], 'cover': '<https://cdn.scrape.center/book/s29652928.jpg>', 'score': '9.4'}, {
   'id': '1974038', 'name': '南腔北调集', 'authors': ['鲁迅'], 'cover': '<https://cdn.scrape.center/book/s2126995.jpg>', 'score': '8.6'}, {
   'id': '1491325', 'name': '皮皮鲁和梦中人', 'authors': ['\\n            郑渊洁', '皮皮鲁总动员'], 'cover': '<https://cdn.scrape.center/book/s26739368.jpg>', 'score': '8.7'}, {
   'id': '6082808', 'name': '百年孤独', 'authors': ['\\n                [哥伦比亚]\\n            加西亚·马尔克斯', '新经典文化', '\\n            范晔', '新经典文库:加西亚·马尔克斯作品'], 'cover': '<https://cdn.scrape.center/book/s6384944.jpg>', 'score': '9.2'}, {
   'id': '34672176', 'name': '呼吸', 'authors': ['[美] 特德·姜'], 'cover': '<https://cdn.scrape.center/book/s33519539.jpg>', 'score': '8.6'}, {
   'id': '34434309', 'name': '82年生的金智英', 'authors': ['[韩]赵南柱'], 'cover': '<https://cdn.scrape.center/book/s33463759.jpg>', 'score': '7.9'}, {
   'id': '1200840', 'name': '平凡的世界(全三部)', 'authors': ['\\n            路遥', '茅盾文学奖获奖作品全集'], 'cover': '<https://cdn.scrape.center/book/s1144911.jpg>', 'score': '9.0'}]}
AI 代码解读

模拟登录成功!

目录
打赏
0
1
1
0
218
分享
相关文章
Python装饰器实战:打造高效性能计时工具
在数据分析中,处理大规模数据时,分析代码性能至关重要。本文介绍如何使用Python装饰器实现性能计时工具,在不改变现有代码的基础上,方便快速地测试函数执行时间。该方法具有侵入性小、复用性强、灵活度高等优点,有助于快速发现性能瓶颈并优化代码。通过设置循环次数参数,可以更准确地评估函数的平均执行时间,提升开发效率。
106 61
Python装饰器实战:打造高效性能计时工具
Python执行Shell命令并获取结果:深入解析与实战
通过以上内容,开发者可以在实际项目中灵活应用Python执行Shell命令,实现各种自动化任务,提高开发和运维效率。
56 20
Python爬虫:京东商品评论内容
京东商品评论接口为商家和消费者提供了重要工具。商家可分析评论优化产品,消费者则依赖评论做出购买决策。该接口通过HTTP请求获取评论内容、时间、点赞数等数据,支持分页和筛选好评、中评、差评。Python示例代码展示了如何调用接口并处理返回的JSON数据。应用场景包括产品优化、消费者决策辅助、市场竞争分析及舆情监测。
Python爬虫与1688图片搜索API接口:深度解析与显著收益
在电子商务领域,数据是驱动业务决策的核心。阿里巴巴旗下的1688平台作为全球领先的B2B市场,提供了丰富的API接口,特别是图片搜索API(`item_search_img`),允许开发者通过上传图片搜索相似商品。本文介绍如何结合Python爬虫技术高效利用该接口,提升搜索效率和用户体验,助力企业实现自动化商品搜索、库存管理优化、竞品监控与定价策略调整等,显著提高运营效率和市场竞争力。
90 3
如何利用Python爬虫淘宝商品详情高级版(item_get_pro)API接口及返回值解析说明
本文介绍了如何利用Python爬虫技术调用淘宝商品详情高级版API接口(item_get_pro),获取商品的详细信息,包括标题、价格、销量等。文章涵盖了环境准备、API权限申请、请求构建和返回值解析等内容,强调了数据获取的合规性和安全性。
python实战——使用代理IP批量获取手机类电商数据
本文介绍了如何使用代理IP批量获取华为荣耀Magic7 Pro手机在电商网站的商品数据,包括名称、价格、销量和用户评价等。通过Python实现自动化采集,并存储到本地文件中。使用青果网络的代理IP服务,可以提高数据采集的安全性和效率,确保数据的多样性和准确性。文中详细描述了准备工作、API鉴权、代理授权及获取接口的过程,并提供了代码示例,帮助读者快速上手。手机数据来源为京东(item.jd.com),代理IP资源来自青果网络(qg.net)。

热门文章

最新文章