Python之JavaScript逆向系列——接口JSON信息获取与操作

简介: Python之JavaScript逆向系列——接口JSON信息获取与操作

Python之JavaScript逆向系列——Python之JavaScript逆向系列——接口JSON信息获取与操作



前言

大家好,本系列文章主要为大家提供的价值方向是网络信息获取,自动化的提取、收集、下载和记录互联网上的信息,加之自身分析,可以让价值最大化。整个内容中不会涉及到过为敏感的内容。

在这个AI+云计算+大数据时代,我们眼睛所看到的百分之九十的数据都是通过页面呈现出现的,不论是PC端、网页端还是移动端,数据渲染还是基于HTML+JavaScript进行的,而大多数的数据都是通过request请求后台API接口动态渲染的。而想成功的请求成功互联网上的开放/公开接口,必须知道它的【URL】、【Headers】、【Params】、【Body】等数据是如何生成的。我们需要了解浏览器开发者工具的功能,入门JS逆向,入门后还需要掌握例如如何【反编译js混淆】等内容,为了避免封本机IP,还需要对每次访问的IP进行代理,当我们拥有了JS逆向的能力后,根据JS所返回的动态请求参数信息便可以进行Python的具体信息获取操作,需要的知识点非常的多,故而本系列文章理论+实践会达到上百篇的文章,这篇文章是总篇,为了方便大家来直接查找所有知识点,建议之间关注收藏本篇,期望能给大家带来更高的价值。

环境准备

系统环境:win11

开发工具:PyCharm: the Python IDE for Professional Developers by JetBrains

IP代理:品易HTTP - 代理IP日更400万 - 为企业提供HTTP代理IP定制服务

api工具:Eolink - 一体化API在线管理平台_API接口管理_接口自动化测试

数据库:MySQL5.7.32——阿里云RDS数据库

主要python库:requests、PyExecJS、parsel

正文

想要具体的搞会操作,那么JS操作就是必须要掌握的内容,很多的数据都是通过json返回到主页进行动态加载的。

我们用上一篇文章举例:Python之JavaScript逆向系列——通过IP代理高频获取全篇小说-CSDN博客

在获取文章列表的时候我们获取的就是JSON格式的数据,那么我们就在在理开始分析了。

json格式

JSON,全称JavaScript Object Notation,是一种轻量级的数据交换格式。它采用完全独立于语言的文本格式,简洁、易读且便于机器解析和生成。JSON基于JavaScript Programming Language, Standard ECMA-262 3rd Edition-December 1999 (PDF)标准,易于人类阅读和编写,同时也易于机器解析和生成,并具有自己的数据类型。这些数据类型包括对象(Object)、数组(Array)、数字(Number)、字符串(String)、布尔值(Boolean)、null七种类型。此外,由于JSON语义与JavaScript完全兼容,在Web开发中常被用作数据交换的格式。它常常被用作API返回结果或者用于本地数据存储等场景。值得注意的是,虽然JSON的名字中包含"Object",但它并非是一种编程语言,而是一种数据格式。JSON本身并没有提供任何处理逻辑或方法,而是提供了一种方式来描述数据结构。在实际使用中,JSON通常会被转换为其他格式(如XML、CSV等)以适应特定的需求。

json格式示例

以下是一个简单的中文的JSON格式示例:

{
  "姓名": "张三",
  "年龄": 25,
  "性别": "男",
  "职业": "软件工程师",
  "技能": ["编程", "数据分析", "机器学习"],
  "项目经验": {
    "项目1": {
      "任务": "开发一个社交网络应用",
      "职责": "负责后端开发",
      "完成情况": "已完成"
    },
    "项目2": {
      "任务": "参与一个电商平台的开发",
      "职责": "负责前端设计",
      "完成情况": "正在进行中"
    }
  },
  "教育背景": {
    "学校": "清华大学",
    "专业": "计算机科学与技术",
    "学历": "本科",
    "时间": "2015-2019"
  }
}

这是一个包含姓名、年龄、性别、职业、技能、项目经验和教育背景等信息的JSON对象。每个字段都用双引号括起来的字符串表示,并且字段和值之间使用冒号分隔,多个字段之间使用大括号 {} 隔开。JSON是一种轻量级的数据交换格式,易于人类阅读和编写,同时也易于机器解析和生成。

POST请求访问API示例

请求的api地址可以看到,访问的方法是:POST,我们需要单独的加上参数与请求头就能访问了。

基础POST请求

如果我们不给参数和请求头,可以看到访问了,但是没有任何返回,因为接口不知道你要什么信息。

import requests
url = "https://bookapi.zongheng.com/api/chapter/getChapterList"
re = requests.post(url=url)
print(re.text)

添加参数的POST请求

在荷载中能看到具体的请求参数名称与参数值。

import requests
url = "https://bookapi.zongheng.com/api/chapter/getChapterList"
data = {
    "bookId": 1201723
}
re = requests.post(url=url, data=data)
print(re.text)

请求信息:

我们已经获取了对应的整个大json信息,但是这个json是字符串的,需要我们进行json格式化了。

json格式化

我们使用json的库来loads我们的json字符串。

import requests
import json
url = "https://bookapi.zongheng.com/api/chapter/getChapterList"
data = {
    "bookId": 1201723
}
re = requests.post(url=url, data=data)
json_re = json.loads(re.text)
print(json_re)

当我们输出后看到所有的双引号都变成了单引号。

现在我们就能使用json的获取格式来获取数据了。

获取json格式具体数据

import requests
import json
url = "https://bookapi.zongheng.com/api/chapter/getChapterList"
data = {
    "bookId": 1201723
}
re = requests.post(url=url, data=data)
json_re = json.loads(re.text)
result = json_re["result"]["chapterList"][0]["chapterViewList"]
for item in result:
    print("文章编号:{0}\t文章标题:{1}\t文章字数:{2}".format(item["chapterId"], item["chapterName"], item["wordNums"]))

这里可以看到具体我们需求的参数了:

python的json库loads与dumps的区别

Python的json库中的dumps和loads函数都是用于处理JSON数据的,但是它们的功能和用途有一些不同。

dumps函数(也称为JSON.dumps)是用于将Python对象转换为JSON格式的字符串。这个函数接收一个Python对象作为输入,并返回一个字符串,该字符串表示将该对象转换为JSON格式后的结果。

例如,如果你有一个Python字典,你可以使用dumps函数将其转换为JSON格式的字符串:

import json
data = {'name': 'John', 'age': 30}
json_string = json.dumps(data)
print(json_string)  # 输出:{"name": "John", "age": 30}

另一方面,loads函数(也称为JSON.loads)是用于将JSON格式的字符串转换回Python对象。这个函数接收一个JSON格式的字符串作为输入,并返回一个Python对象,该对象表示从JSON字符串转换回Python对象的结果。

例如,如果你有一个表示Python字典的JSON格式字符串,你可以使用loads函数将其转换回一个字典:

import json
json_string = '{"name": "John", "age": 30}'
data = json.loads(json_string)
print(data)  # 输出:{'name': 'John', 'age': 30}

总结一下,dumps用于将Python对象转换为JSON格式的字符串,而loads用于将JSON格式的字符串转换回Python对象。这两种功能对于处理JSON数据来说是非常常见的。

相关文章
|
3天前
|
索引 Python
如何使用Python的Pandas库进行数据透视表(pivot table)操作?
使用Pandas在Python中创建数据透视表的步骤包括:安装Pandas库,导入它,创建或读取数据(如DataFrame),使用`pd.pivot_table()`指定数据框、行索引、列索引和值,计算聚合函数(如平均分),并可打印或保存结果到文件。这允许对数据进行高效汇总和分析。
9 2
|
7天前
|
存储 JavaScript 前端开发
JavaScript DOM 操作:解释一下 cookie、sessionStorage 和 localStorage 的区别。
Cookie是服务器发送至客户端的文本信息,会随每个请求发送回服务器,适合控制会话状态但可能暴露隐私。SessionStorage仅在当前会话中存储数据,关闭浏览器后清除,适合临时存储如登录状态。LocalStorage则持久保存数据,即使关闭浏览器也不会清除,适用于存储长期设置。三种方式各有侧重,应按需求选择。
12 0
|
7天前
|
JavaScript 前端开发 安全
JavaScript DOM 操作:解释一下浏览器的同源策略。
**同源策略**是浏览器安全基石,它阻止脚本跨不同协议、域名或端口访问资源,防止恶意行为。例如,HTTP页面无法直接用JS获取HTTPS页面内容。**CORS**允许跨域请求,但需服务器配合设置,通过`document.domain`属性可配置,但仍受限于服务器配置。
10 4
|
10天前
|
开发者 索引 Python
实践:如何使用python在网页的表格里抓取信息
实践:如何使用python在网页的表格里抓取信息
|
10天前
|
数据采集 JSON 网络协议
「Python系列」Python urllib库(操作网页URL对网页的内容进行抓取处理)
`urllib` 是 Python 的一个标准库,用于打开和读取 URLs。它提供了一组模块,允许你以编程方式从网络获取数据,如网页内容、文件等。
32 0
|
10天前
|
机器学习/深度学习 数据可视化 数据挖掘
用Python进行健康数据分析:挖掘医疗统计中的信息
【4月更文挑战第12天】Python在医疗健康数据分析中扮演重要角色,具备数据处理、机器学习、可视化及丰富生态的优势。基本流程包括数据获取、预处理、探索、模型选择与训练、评估优化及结果可视化。应用案例包括疾病预测、药物效果分析和医疗资源优化,例如使用RandomForestClassifier进行疾病预测,Logit模型分析药物效果,以及linprog优化医疗资源配置。
|
14天前
|
JSON JavaScript 前端开发
JavaScript原生代码处理JSON的一些高频次方法合集
JavaScript原生代码处理JSON的一些高频次方法合集
|
14天前
|
JavaScript
【归总】原生js操作浏览器hash、url参数参数获取/修改方法合集
【归总】原生js操作浏览器hash、url参数参数获取/修改方法合集
|
15天前
|
人工智能 机器人 C++
【C++/Python】Windows用Swig实现C++调用Python(史上最简单详细,80岁看了都会操作)
【C++/Python】Windows用Swig实现C++调用Python(史上最简单详细,80岁看了都会操作)
|
16天前
|
存储 缓存 JavaScript
python实战篇:利用request库打造自己的翻译接口
python实战篇:利用request库打造自己的翻译接口
27 1
python实战篇:利用request库打造自己的翻译接口