如何使用Request方法发送Post请求、JSON文件介绍、Python中的JSON数据以及获取到的JSON数据的解析。

简介: 如何使用Request方法发送Post请求、JSON文件介绍、Python中的JSON数据以及获取到的JSON数据的解析。

前言


使用接口爬取数据用!


一、Request中的Post方法相关参数介绍以及实战


1-1、Post方法


参数介绍

url: 必填,请求的网址

data: 选填,字典,元组列表,字节或者要发送到URL的文件对象。

json: 可选,发送到指定URL的JSON对象。

files: 可选,要发送到URL的文件字典

allow_redirects:可选。用于启用/禁用重定向的布尔值。

默认True(允许重定向)

auth: 可选。用于启用某种HTTP身份验证的元组。

默认None

cert:可选。指定证书文件或密钥的字符串或元组。

默认None

cookies: 可选。要发送到指定网址的Cookie字典。

默认None

headers:可选。要发送到指定网址的HTTP标头字典。

默认None

proxies: 可选。URL代理协议字典。

默认None

stream: 可选。如果响应应立即下载(False)或流式传输(True)的布尔指示。

默认False

timeout: 可选。一个数字或一个元组,指示等待客户端建立连接和/或发送响应的秒数。

默认值None表示请求将继续,直到连接关闭。

verify: 可选。用于验证服务器TLS证书的布尔值或字符串指示。默认True


1-2、实战

import requests
import configparser
import pprint
import json
url = '这里写具体的url'
    json = {
        '这里写具体要获取的资源,字典格式'
    }
    headers = {
        "User-Agent": '这里写用户代理的一些信息,打开网站,点检查,点网络,点击下边的第一个元素,在请求标头下找到User-Agent贴过来',
        "cookie": '和找到User-Agent方法一样,在下边找到cookie'}
    session = requests.session()
    # 传入相关参数,开始请求
    response = session.post(url=url, json=json , headers=headers)
    pprint.pprint(json.loads(response.text))
    return response


二、JSON文件介绍以及解析

2-1、JSON文件介绍

# JSON格式是网站和API使用的通用标准格式,它是一种数据结构,将对象用文本形式表示出来。
# JSON格式字符串示例:
# JSON数据看起来像是一个Python字典,以键值对的形式传递数据。然而,JSON数据也可以是字符串、数字、布尔值或者是列表。
{
   "name": "United States",
   "population": 331002651,
   "capital": "Washington D.C.",
   "languages": [
  "English",
  "Spanish"
   ]
}
# 在JSON流行之前,XML是更常见的选择,但是看起来相对比较复杂
# XML相同信息示例:
<?xml version="1.0" encoding="UTF-8"?>
<country>
   <name>United States</name>
   <population>331002651</population>
   <capital>Washington D.C.</capital>
   <languages>
       <language>English</language>
       <language>Spanish</language>
   </languages>
</country>

2-2、Python中的JSON模块以及解析JSON数据

# Python原生支持JSON数据,Python Json模块是标准库的一部分。
# 这个JSON模块可以将JSON数据从JSON格式转换为等效的Python对象,例如字典和列表,还可以反向转换。
# 将JSON字符串解析为Python字典(解析为什么格式的数据主要看输入的数据是什么)
# eg:
import json
country = '{"name": "United States", "population": 331002651}'
# loads: 代表的是字符串,loads方法用于读取JSON字符串。
country_dict = json.loads(country)
# country_dict 此时已经是Python字典
# 除了loads()方法,还有load()方法,load()用于读取文件中的JSON数据。load()方法接收一个文件对象并返回解析为Python对象的JSON数据。


2-3、将python对象转换为JSON字符串

# 将Python对象转换为JSON对象也称为序列化或JSON编码。可以使用函数dumps()来实现。
import json
languages = ["English","French"]
country = {
       "name": "Canada",
       "population": 37742154,
       "languages": languages,
       "president": None,
}
country_string = json.dumps(country)
print(country_string)

结果

{"name": "Canada", "population": 37742154, "languages": ["English", "French"],
 "president": null}


三、requests.post()和session.post()的区别

3-1、requests.post用法

import requests
response = requests.post(url=url)

3-2、session.post用法

import requests
session = requests.session()
response = session.post(url=url)
# 获取到cookies
cookie = session.cookies


3-3、区别


requests.post:在调用完成后就关闭了连接,所以cookies就随着connect的消亡而消亡。

session.post:高级用法,未关闭上下文连接,会话一直保持在连接池内,即cookies是一直有效的。


总结


1、request占用资源较少,安全性比较高,但是无法获取到特别多的信息。

2、session相对来说消耗资源较多,安全性相对较低,但是可以获取到更多的信息,例如cookies。

3、request相当于某一次访问的局域变量,session相当于客户端的全局变量。


参考文章:

Python Requests post() 方法.

request和session的区别.

使用Python读取和解析JSON数据教程.

python调用request.post请求与Postman方法.


总结


爱情只会影响我敲代码的速度!




目录
打赏
0
0
0
0
75
分享
相关文章
如何动态调整Python爬虫的Request请求延迟
如何动态调整Python爬虫的Request请求延迟
152 13
淘宝商品详情API的调用流程(python请求示例以及json数据示例返回参考)
JSON数据示例:需要提供一个结构化的示例,展示商品详情可能包含的字段,如商品标题、价格、库存、描述、图片链接、卖家信息等。考虑到稳定性,示例应基于淘宝开放平台的标准响应格式。
|
1月前
|
分析参数顺序对Python requests库进行POST请求的影响。
最后,尽管理论上参数顺序对POST请求没影响,但编写代码时仍然建议遵循一定的顺序和规范,比如URL总是放在第一位,随后是data或json,最后是headers,这样可以提高代码的可读性和维护性。在处理复杂的请求时,一致的参数顺序有助于调试和团队协作。
95 9
Bilibili直播信息流:连接方法与数据解析
本文详细介绍了自行实现B站直播WebSocket连接的完整流程。解析了基于WebSocket的应用层协议结构,涵盖认证包构建、心跳机制维护及数据包解析步骤,为开发者定制直播数据监控提供了完整技术方案。
【实战解析】smallredbook.item_get_video API:小红书视频数据获取与电商应用指南
本文介绍小红书官方API——`smallredbook.item_get_video`的功能与使用方法。该接口可获取笔记视频详情,包括无水印直链、封面图、时长、文本描述、标签及互动数据等,并支持电商场景分析。调用需提供`key`、`secret`和`num_iid`参数,返回字段涵盖视频链接、标题、标签及用户信息等。同时,文章提供了电商实战技巧,如竞品监控与个性化推荐,并列出合规注意事项及替代方案对比。最后解答了常见问题,如笔记ID获取与视频链接时效性等。
如何高效爬取天猫商品数据?官方API与非官方接口全解析
本文介绍两种天猫商品数据爬取方案:官方API和非官方接口。官方API合法合规,适合企业长期使用,需申请企业资质;非官方接口适合快速验证需求,但需应对反爬机制。详细内容涵盖开发步骤、Python实现示例、反爬策略、数据解析与存储、注意事项及扩展应用场景。推荐工具链包括Playwright、aiohttp、lxml等。如需进一步帮助,请联系作者。
淘宝商品评论API接口,json数据示例参考
淘宝开放平台提供了多种API接口来获取商品评论数据,其中taobao.item.reviews.get是一个常用的接口,用于获取指定商品的评论信息。以下是关于该接口的详细介绍和使用方法:
SPL 处理多层 JSON 数据比 DuckDB 方便多了
esProc SPL 处理多层 JSON 数据比 DuckDB 更便捷,尤其在保留 JSON 层次与复杂计算时优势明显。DuckDB 虽能通过 `read_json_auto()` 将 JSON 解析为表格结构,但面对深层次或复杂运算时,SQL 需频繁使用 UNNEST、子查询等结构,逻辑易变得繁琐。而 SPL 以集合运算方式直接处理子表,代码更简洁直观,无需复杂关联或 Lambda 语法,同时保持 JSON 原始结构。esProc SPL 开源免费,适合复杂 JSON 场景,欢迎至乾学院探索!
PHP技巧:解析JSON及提取数据
这就是在PHP世界里探索JSON数据的艺术。这场狩猎不仅仅是为了获得数据,而是一种透彻理解数据结构的行动,让数据在你的编码海洋中畅游。通过这次冒险,你已经掌握了打开数据宝箱的钥匙。紧握它,让你在编程世界中随心所欲地航行。
124 67

推荐镜像

更多
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问