【安全合规】python爬虫从0到1 -Requests库的基本使用(get/post请求)

简介: python爬虫从0到1 -Requests库的基本使用(get/post请求)

文章目录

前言

(一)requests的get请求

1. 导入requests库

2. 定义url地址以及请求头

3. 返回响应数据

4. 将数据打印

总结(对比urllib库的get请求)

(二)requests库的post请求(百度翻译)

1. 导入requests库

2.定义url地址以及请求头

3. 返回响应数据

4.将数据转换为json格式并打印

总结(对比urllib库的post请求)


前言

上文我们已经了解了requests库的基本概念,下面我们一起进入Requests库的get请求和post请求实例。

image.png

(一)requests的get请求

1. 导入requests库

import requests

2. 定义url地址以及请求头

url = 'https://www.baidu.com/s?'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36'
}
data = {
    'wd':'上海'
}

3. 返回响应数据image.png

response =  requests.get(url = url , params = data ,headers = headers )

4. 将数据打印

content = response.text
print(content)

总结(对比urllib库的get请求)

1.参数使用params传递。

2.参数无需使用urlencoding编码

3.不需要请求对象的定制

4.请求资源路径url中的?可要可不要

(二)requests库的post请求(百度翻译)

1. 导入requests库

import requests
import json

定义url地址以及请求头

url = 'https://fanyi.baidu.com/sug'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36'
}
data = {
    'kw':'sign'
}

3. 返回响应数据image.png

response = requests.post(url = url ,data = data ,headers = headers )

4.将数据转换为json格式并打印

content = response.text
obj = json.loads(content)
print(obj)

运行结果:image.png

总结(对比urllib库的post请求)

1.post请求不需要编解码

2.post请求的参数是data

3.不需要请求对象的定制

相关文章
|
9月前
|
存储 人工智能 测试技术
如何使用LangChain的Python库结合DeepSeek进行多轮次对话?
本文介绍如何使用LangChain结合DeepSeek实现多轮对话,测开人员可借此自动生成测试用例,提升自动化测试效率。
2114 125
如何使用LangChain的Python库结合DeepSeek进行多轮次对话?
|
9月前
|
监控 数据可视化 数据挖掘
Python Rich库使用指南:打造更美观的命令行应用
Rich库是Python的终端美化利器,支持彩色文本、智能表格、动态进度条和语法高亮,大幅提升命令行应用的可视化效果与用户体验。
844 0
|
8月前
|
数据可视化 关系型数据库 MySQL
【可视化大屏】全流程讲解用python的pyecharts库实现拖拽可视化大屏的背后原理,简单粗暴!
本文详解基于Python的电影TOP250数据可视化大屏开发全流程,涵盖爬虫、数据存储、分析及可视化。使用requests+BeautifulSoup爬取数据,pandas存入MySQL,pyecharts实现柱状图、饼图、词云图、散点图等多种图表,并通过Page组件拖拽布局组合成大屏,支持多种主题切换,附完整源码与视频讲解。
801 4
【可视化大屏】全流程讲解用python的pyecharts库实现拖拽可视化大屏的背后原理,简单粗暴!
|
8月前
|
传感器 运维 前端开发
Python离群值检测实战:使用distfit库实现基于分布拟合的异常检测
本文解析异常(anomaly)与新颖性(novelty)检测的本质差异,结合distfit库演示基于概率密度拟合的单变量无监督异常检测方法,涵盖全局、上下文与集体离群值识别,助力构建高可解释性模型。
593 10
Python离群值检测实战:使用distfit库实现基于分布拟合的异常检测
|
Python
pip批量安装Python库 requirement.txt 离线环境无互联网环境下pip安装Python库
pip批量安装Python库 requirement.txt 离线环境无互联网环境下pip安装Python库
1610 3
|
开发工具 git Python
安装和使用`libnum`是一个用于数字理论函数的Python库
【6月更文挑战第19天】`libnum`是Python的数字理论函数库。安装可通过`git clone`,进入目录后运行`python setup.py install`,也可用`pip install libnum`。示例:使用`int_to_hex`将十进制数42转换为十六进制字符串'2a'。注意,信息可能已过时,应查最新文档以确保准确性。如遇问题,参考GitHub仓库或寻求社区帮助。
484 1
确保你已经安装了`python-barcode`库。如果没有,可以通过pip来安装:
确保你已经安装了`python-barcode`库。如果没有,可以通过pip来安装:
|
Python
Anaconda虚拟环境安装Python库与Spyder
本文介绍在Anaconda中,为Python的虚拟环境安装第三方库与Spyder等配套软件的方法~
921 1
Anaconda虚拟环境安装Python库与Spyder
|
Linux Python
不可出外网的主机如何快速、方便、优雅的安装Python库?
不可出外网的主机如何快速、方便、优雅的安装Python库?
784 0
不可出外网的主机如何快速、方便、优雅的安装Python库?
|
Linux 计算机视觉 Python
Windows下使用Pycharm安装python GUI库Kivy教程
Windows下使用Pycharm安装python GUI库Kivy教程
1287 0
Windows下使用Pycharm安装python GUI库Kivy教程

推荐镜像

更多