AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

Python Requests 基本使用（与 urllib 的区别）

2023-08-03 164
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Python Requests 基本使用（与 urllib 的区别）

一、简介

$ pip install requests

二、基本使用

# 导入
import requests
# 请求地址
url = "https://www.baidu.com"
# 获取服务器响应数据
response = requests.get(url=url)
# 1 个类型和 6 个属性
# 1、响应数据类型（urllib 的响应数据类型是 http.client.HTTPResponse）
print(type(response)) # requests.models.Response
# 2、设置响应的编码格式
response.encoding = 'utf-8'
# 3、以字符串的形式返回网页的源码
print(response.text)
# 4、返回 url 地址
print(response.url)
# 5、返回二进制的数据（text 的二进制数据，urllib 的 response.read() 就是二进制数据）
print(response.content)
# 6、返回响应的状态码
print(response.status_code)
# 7、返回响应头信息
print(response.headers)

三、GET 请求与 urllib 区别

# 导入
import requests
# 请求地址
# url = "https://www.baidu.com/s?"
url = "https://www.baidu.com/s"
# 请求头
headers = {
  'Accept': 'text/javascript, application/javascript, application/ecmascript, application/x-ecmascript, */*; q=0.01',
  # 'Accept-Encoding': 'gzip, deflate, br',
  'Accept-Language': 'zh-CN,zh;q=0.9',
  'Connection': 'keep-alive',
  'Cookie': '填自己的 Cookie，没有会拿不到数据',
  'Host': 'www.baidu.com',
  'Referer': 'https://www.baidu.com/s?wd=%E5%8C%97%E4%BA%AC&rsv_spt=1&rsv_iqid=0xc4323e2d0000fc1a&issp=1&f=8&rsv_bp=1&rsv_idx=2&ie=utf-8&rqlang=cn&tn=baiduhome_pg&rsv_enter=0&rsv_dl=tb&oq=%25E5%258C%2597%25E4%25BA%25AC&rsv_btype=t&rsv_t=009fICC65EzpN%2BM16VRnKfYWv8Pm6F%2BO1r55ft99%2BL0OlRVHYYfi5cpRa1wOl%2Bhe0bQO&rsv_pq=f70437990000a294&prefixsug=%25E5%258C%2597%25E4%25BA%25AC&rsp=0',
  'sec-ch-ua': '"Google Chrome";v="107", "Chromium";v="107", "Not=A?Brand";v="24"',
  'sec-ch-ua-mobile': '?0',
  'sec-ch-ua-platform': '"macOS"',
  'Sec-Fetch-Dest': 'empty',
  'Sec-Fetch-Mode': 'cors',
  'Sec-Fetch-Site': 'same-origin',
  'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36',
  'X-Requested-With': 'XMLHttpRequest'
}
# 参数
data = {
  'wd': '北京'
}
# 获取服务器响应数据【def get(url, params=None, **kwargs)】
# url: 请求地址
# params: 参数
# kwargs: 字典
response = requests.get(url=url, params=data, headers=headers)
# 设置响应数据编码格式
response.encoding = 'utf-8'
# 获取页面内容
print(response.text)
# 总结：
# 1、参数使用 params 传递
# 2、无需像 urllib 使用 urllib.parse.urlencode() 编码，可以直接传入
# 3、不需要请求对象的定制
# 4、请求资源路径中的 ？可以加也可以不加
  # url = "https://www.baidu.com/s?"
  # url = "https://www.baidu.com/s"

四、POST 请求与 urllib 区别

# 导入
import requests
# 请求地址
url = "https://fanyi.baidu.com/sug"
# 请求头
headers = {
  'Accept': 'application/json, text/javascript, */*; q=0.01',
  'Accept-Encoding': 'gzip, deflate, br',
  'Accept-Language': 'zh-CN,zh;q=0.9',
  'Connection': 'keep-alive',
  'Content-Length': '21',
  'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
  'Cookie': '填自己的 Cookie，没有会拿不到数据',
  'Host': 'fanyi.baidu.com',
  'Origin': 'https://fanyi.baidu.com',
  'Referer': 'https://fanyi.baidu.com/',
  'sec-ch-ua': '"Google Chrome";v="107", "Chromium";v="107", "Not=A?Brand";v="24"',
  'sec-ch-ua-mobile': '?0',
  'sec-ch-ua-platform': '"macOS"',
  'Sec-Fetch-Dest': 'empty',
  'Sec-Fetch-Mode': 'cors',
  'Sec-Fetch-Site': 'same-origin',
  'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36',
  'X-Requested-With': 'XMLHttpRequest'
}
# 参数
data = {
  'kw': '眼睛'
}
# 获取服务器响应数据【def post(url, data=None, json=None, **kwargs)】
# url: 请求地址
# data: 参数
# kwargs: 字典
response = requests.post(url=url, data=data, headers=headers)
# 设置响应数据编码格式
response.encoding = 'utf-8'
# 获取页面内容
print(response.text)
# 总结：
# 1、post 请求不需要编解码（urllib.parse.urlencode(params).encode('utf-8')）
# 2、post 请求的参数是 data，get 请求参数是 params
# 3、不需要请求对象的定制

五、IP代理

# 导入
import requests
# 请求地址
# url = "https://www.baidu.com/s?"
# url = "https://www.baidu.com/s"
url = "http://www.baidu.com/s"
# 请求头
headers = {
  'Accept': 'text/javascript, application/javascript, application/ecmascript, application/x-ecmascript, */*; q=0.01',
  # 'Accept-Encoding': 'gzip, deflate, br',
  'Accept-Language': 'zh-CN,zh;q=0.9',
  'Connection': 'keep-alive',
  'Cookie': '填自己的 Cookie，没有会拿不到数据',
  'Host': 'www.baidu.com',
  'Referer': 'https://www.baidu.com/s?wd=%E5%8C%97%E4%BA%AC&rsv_spt=1&rsv_iqid=0xc4323e2d0000fc1a&issp=1&f=8&rsv_bp=1&rsv_idx=2&ie=utf-8&rqlang=cn&tn=baiduhome_pg&rsv_enter=0&rsv_dl=tb&oq=%25E5%258C%2597%25E4%25BA%25AC&rsv_btype=t&rsv_t=009fICC65EzpN%2BM16VRnKfYWv8Pm6F%2BO1r55ft99%2BL0OlRVHYYfi5cpRa1wOl%2Bhe0bQO&rsv_pq=f70437990000a294&prefixsug=%25E5%258C%2597%25E4%25BA%25AC&rsp=0',
  'sec-ch-ua': '"Google Chrome";v="107", "Chromium";v="107", "Not=A?Brand";v="24"',
  'sec-ch-ua-mobile': '?0',
  'sec-ch-ua-platform': '"macOS"',
  'Sec-Fetch-Dest': 'empty',
  'Sec-Fetch-Mode': 'cors',
  'Sec-Fetch-Site': 'same-origin',
  'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36',
  'X-Requested-With': 'XMLHttpRequest'
}
# 参数
data = {
  'wd': 'ip'
}
# 代理
proxys = {
  # 前面的 http 协议最好跟 请求地址 的协议保持一致，有时候会出问题
  # 'http': '222.74.73.202:42055'
}
# 获取服务器响应数据【def get(url, params=None, **kwargs)】
# url: 请求地址
# params: 参数
# kwargs: 字典
response = requests.get(url=url, params=data, headers=headers, proxies=proxys)
# 设置响应数据编码格式
response.encoding = 'utf-8'
# 获取页面内容
# print(response.text)
# 存储到文件夹
with open('dali.html', 'w', encoding='utf-8') as f:
  f.write(response.text)

六、验证码案例

通过 古诗文网 作为测试

# 登录接口需要的参数：
# __VIEWSTATE: ySbbXPOgH0tbN+MZqd0YtuJiFM8uIhBDD9pK/q4dqPvGLwWIbW799+Hr7aDPNHZpg27Nxe259UePM3z1Rc2X89uauZJQEkkrcyVULG09iqo38jAnG6zaq5D6a2/ZhOx7HIPakzBHk5K6JRQ2kGMtIfN0Qjs=
# __VIEWSTATEGENERATOR: C93BE1AE
# from: http://so.gushiwen.cn/user/collect.aspx
# email: xxxx
# pwd: xxxx
# code: TJ83
# denglu: 登录
# 观察到 __VIEWSTATE 与 __VIEWSTATEGENERATOR 不知道如何获取？
# 一般情况下，看不到的数据，都是在页面源码中，弄一个不可见的元素赋值，所有可以进入源码中，搜索试试
# 导入
import requests
from lxml import etree
# 请求地址
url = 'https://so.gushiwen.cn/user/login.aspx?from=http%3a%2f%2fso.gushiwen.cn%2fuser%2fcollect.aspx'
# 请求头
headers = {
  'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36'
}
# 获取页面数据
response = requests.get(url=url, headers=headers)
# 然后可以在内容中搜搜 __VIEWSTATE 与 __VIEWSTATEGENERATOR，以免做了反扒
# print(response.text)
# 设置响应数据编码
response.encoding = 'utf-8'
# 解析服务器响应数据
tree = etree.HTML(response.text)
# 获取 __VIEWSTATE 值
VIEWSTATE = tree.xpath('//input[@id="__VIEWSTATE"]/@value')[0]
# 获取 __VIEWSTATEGENERATOR 值
VIEWSTATEGENERATOR = tree.xpath('//input[@id="__VIEWSTATEGENERATOR"]/@value')[0]
# 获取验证码
code = tree.xpath('//img[@id="imgCode"]/@src')[0]
code_url = 'https://so.gushiwen.cn' + code
# 将验证码图片下载到本地，但是不能使用 urllib.request.urlretrieve() 去下载，下载就会导致切换验证码了，保存的也就变成旧的了
# 解决方法：requests 里面有个 session()，能够跨请求地保持某些参数，说白了，就是比如使用 session 成功的登录了某个网站，则再次使用该 session 对象对该网站的其他网页访问时都会默认使用该 session 之前使用的 cookie 等参数
session = requests.session()
# 获取验证码内容
response_code = session.get(code_url)
# 注意此时要使用二进制数据，因为要下载图片
content_code = response_code.content
# 将二进制数据写入到文件(有时候会有延迟，反应没那么快，编辑器没有出现，可以直接进入文件看看)
with open('code.jpg', 'wb') as f:
  f.write(content_code)
# 识别验证码的库网上很多，搜搜
文章标签：
云数据库 ClickHouse
Python
关键词：
Python区别
Python Requests
Python urllib
Python requests urllib
Python基本使用
卡尔特斯
目录
相关文章
小白学大数据
|
3月前
|
存储 Web App开发 前端开发
Python + Requests库爬取动态Ajax分页数据
Python + Requests库爬取动态Ajax分页数据
小白学大数据
168 1
小白学大数据
|
3月前
|
Web App开发 安全 数据安全/隐私保护
利用Python+Requests实现抖音无水印视频下载
利用Python+Requests实现抖音无水印视频下载
小白学大数据
522 1
凉凉心.
|
17天前
|
存储 Java 索引
（Python基础）新时代语言！一起学习Python吧！（二）：字符编码由来；Python字符串、字符串格式化；list集合和tuple元组区别
字符编码 我们要清楚，计算机最开始的表达都是由二进制而来 我们要想通过二进制来表示我们熟知的字符看看以下的变化 例如： 1 的二进制编码为 0000 0001 我们通过A这个字符，让其在计算机内部存储（现如今，A 字符在地址通常表示为65） 现在拿A举例： 在计算机内部 A字符，它本身表示为 65这个数，在计算机底层会转为二进制码 也意味着A字符在底层表示为 1000001 通过这样的字符表示进行转换，逐步发展为拥有127个字符的编码存储到计算机中，这个编码表也被称为ASCII编码。 但随时代变迁，ASCII编码逐渐暴露短板，全球有上百种语言，光是ASCII编码并不能够满足需求
凉凉心.
85 3
蓝易云
|
3月前
|
JSON 网络安全 数据格式
Python网络请求库requests使用详述
总结来说，`requests`库非常适用于需要快速、简易、可靠进行HTTP请求的应用场景，它的简洁性让开发者避免繁琐的网络代码而专注于交互逻辑本身。通过上述方式，你可以利用 `requests`处理大部分常见的HTTP请求需求。
蓝易云
348 51
兵临天下19970108016
|
3月前
|
数据采集 API 调度
Python爬虫框架对比：Scrapy vs Requests在API调用中的应用
本文对比了 Python 中 Scrapy 与 Requests 两大爬虫框架在 API 调用中的差异，涵盖架构设计、调用模式、性能优化及适用场景，并提供实战建议，助力开发者根据项目需求选择合适工具。
兵临天下19970108016
240 0
蓝易云
|
4月前
|
JSON 数据格式 Python
解决Python requests库POST请求参数顺序问题的方法。
总之，想要在Python的requests库里保持POST参数顺序，你要像捋顺头发一样捋顺它们，在向服务器炫耀你那有条不紊的数据前。抓紧手中的 `OrderedDict`与 `json`这两把钥匙，就能向服务端展示你的请求参数就像经过高端配置的快递包裹，里面的商品摆放井井有条，任何时候开箱都是一种享受。
蓝易云
109 10
蓝易云
|
4月前
|
网络协议 API Python
解析http.client与requests在Python中的性能比较和改进策略。
最后，需要明确的是，这两种库各有其优点和适用场景。`http.client` 更适合于基础且并行的请求，`requests` 则因其易用且强大的功能，更适用于复杂的 HTTP 场景。对于哪种更适合你的应用，可能需要你自己进行实际的测试来确定。
蓝易云
133 10
九月天空
|
1月前
|
数据采集 机器学习/深度学习 人工智能
Python：现代编程的首选语言
Python：现代编程的首选语言
九月天空
207 102
九月天空
|
1月前
|
数据采集 机器学习/深度学习 算法框架/工具
Python：现代编程的瑞士军刀
Python：现代编程的瑞士军刀
九月天空
228 104

热门文章

最新文章

  • 1
    唯品会item_search - 按关键字搜索 VIP 商品接口深度分析及 Python 实现
  • 2
    Python爬虫技术：从基础到实战的完整教程
  • 3
    5分钟学会用Python爬取知乎热榜：从零开始的实战指南
  • 4
    唯品会 item_get - 获得 VIP 商品详情接口深度分析及 Python 实现
  • 5
    Python神技：用列表推导式让你的代码更优雅
  • 6
    告别 os.path 的繁琐：拥抱 Python 的 pathlib
  • 7
    Python字典：高效数据管理的瑞士军刀
  • 8
    （Python基础）新时代语言！一起学习Python吧！（一）：认识Python、Py解释器作用；编写第一个Python程序；Python中的基本数据结构
  • 9
    淘宝商品详情接口（item_get）企业级全解析：参数配置、签名机制与 Python 代码实战
  • 10
    超越`open()`：深入理解Python的`with`语句
  • 1
    Python中的列表推导式：简洁高效的数据处理艺术
    233
  • 2
    Python字符串格式化利器：f-strings入门指南
    264
  • 3
    Python列表推导式：简洁高效的数据处理利器
    271
  • 4
    Python高效字符串格式化：f-strings的魅力
    197
  • 5
    掌握Python装饰器：轻松统计函数执行时间
    307
  • 6
    Python f-strings：让字符串格式化更简洁高效！
    248
  • 7
    Python爬取招标信息并生成可视化分析报告
    382
  • 8
    用 Python 制作简单小游戏教程：手把手教你开发猜数字游戏
    442
  • 9
    Python3.14正式支持Free Threaded版本！
    524
  • 10
    Python web Django快速入门手册全栈版，共2590字，短小精悍
    143

    • 相关课程

    更多
  • Python爬虫实战
  • Python开发基础入门
  • Python常用数据科学库
  • Python网络爬虫实战
  • Python完全自学手册图文教程
  • Python基础快速入门实战教程

    • 相关电子书

    更多
  • From Python Scikit-Learn to Sc
  • Data Pre-Processing in Python:
  • 双剑合璧-Python和大数据计算平台的结合

    • 推荐镜像

    更多
  • python-release
    • 下一篇
    阿里云oss简介和如何对接使用