前言
使用接口爬取数据用!
一、Request中的Post方法相关参数介绍以及实战
1-1、Post方法
参数介绍
url: 必填,请求的网址
data: 选填,字典,元组列表,字节或者要发送到URL的文件对象。
json: 可选,发送到指定URL的JSON对象。
files: 可选,要发送到URL的文件字典
allow_redirects:可选。用于启用/禁用重定向的布尔值。
默认True(允许重定向)
auth: 可选。用于启用某种HTTP身份验证的元组。
默认None
cert:可选。指定证书文件或密钥的字符串或元组。
默认None
cookies: 可选。要发送到指定网址的Cookie字典。
默认None
headers:可选。要发送到指定网址的HTTP标头字典。
默认None
proxies: 可选。URL代理协议字典。
默认None
stream: 可选。如果响应应立即下载(False)或流式传输(True)的布尔指示。
默认False
timeout: 可选。一个数字或一个元组,指示等待客户端建立连接和/或发送响应的秒数。
默认值None表示请求将继续,直到连接关闭。
verify: 可选。用于验证服务器TLS证书的布尔值或字符串指示。默认True
1-2、实战
import requests import configparser import pprint import json url = '这里写具体的url' json = { '这里写具体要获取的资源,字典格式' } headers = { "User-Agent": '这里写用户代理的一些信息,打开网站,点检查,点网络,点击下边的第一个元素,在请求标头下找到User-Agent贴过来', "cookie": '和找到User-Agent方法一样,在下边找到cookie'} session = requests.session() # 传入相关参数,开始请求 response = session.post(url=url, json=json , headers=headers) pprint.pprint(json.loads(response.text)) return response
二、JSON文件介绍以及解析
2-1、JSON文件介绍
# JSON格式是网站和API使用的通用标准格式,它是一种数据结构,将对象用文本形式表示出来。 # JSON格式字符串示例: # JSON数据看起来像是一个Python字典,以键值对的形式传递数据。然而,JSON数据也可以是字符串、数字、布尔值或者是列表。 { "name": "United States", "population": 331002651, "capital": "Washington D.C.", "languages": [ "English", "Spanish" ] } # 在JSON流行之前,XML是更常见的选择,但是看起来相对比较复杂 # XML相同信息示例: <?xml version="1.0" encoding="UTF-8"?> <country> <name>United States</name> <population>331002651</population> <capital>Washington D.C.</capital> <languages> <language>English</language> <language>Spanish</language> </languages> </country>
2-2、Python中的JSON模块以及解析JSON数据
# Python原生支持JSON数据,Python Json模块是标准库的一部分。 # 这个JSON模块可以将JSON数据从JSON格式转换为等效的Python对象,例如字典和列表,还可以反向转换。 # 将JSON字符串解析为Python字典(解析为什么格式的数据主要看输入的数据是什么) # eg: import json country = '{"name": "United States", "population": 331002651}' # loads: 代表的是字符串,loads方法用于读取JSON字符串。 country_dict = json.loads(country) # country_dict 此时已经是Python字典 # 除了loads()方法,还有load()方法,load()用于读取文件中的JSON数据。load()方法接收一个文件对象并返回解析为Python对象的JSON数据。
2-3、将python对象转换为JSON字符串
# 将Python对象转换为JSON对象也称为序列化或JSON编码。可以使用函数dumps()来实现。 import json languages = ["English","French"] country = { "name": "Canada", "population": 37742154, "languages": languages, "president": None, } country_string = json.dumps(country) print(country_string)
结果:
{"name": "Canada", "population": 37742154, "languages": ["English", "French"], "president": null}
三、requests.post()和session.post()的区别
3-1、requests.post用法
import requests response = requests.post(url=url)
3-2、session.post用法
import requests session = requests.session() response = session.post(url=url) # 获取到cookies cookie = session.cookies
3-3、区别
requests.post:在调用完成后就关闭了连接,所以cookies就随着connect的消亡而消亡。
session.post:高级用法,未关闭上下文连接,会话一直保持在连接池内,即cookies是一直有效的。
总结:
1、request占用资源较少,安全性比较高,但是无法获取到特别多的信息。
2、session相对来说消耗资源较多,安全性相对较低,但是可以获取到更多的信息,例如cookies。
3、request相当于某一次访问的局域变量,session相当于客户端的全局变量。
参考文章:
python调用request.post请求与Postman方法.
总结
爱情只会影响我敲代码的速度!