【安全合规】python爬虫从0到1 -requests库的基本简介

简介: python爬虫从0到1 -requests库的基本简介

文章目录

前言

由于前连天身体不适所以停更了很多天,希望大家能够谅解。接下来让我们进入新一轮的学习,Requests库的使用。


Requests库简介

requests是一个很实用的Python HTTP客户端库,编写爬虫和测试服务器响应数据时经常会用到,Requests是Python语言的第三方的库,专门用于发送HTTP请求。


Requests库中的1个类型和6个属性

1.一个类型(Response类型)

image.png

import requests
url = 'https://baidu.com'
response = requests.get(url = url )
# requests的一个类型和6个属性
# 1个类型:
print(type(response))

运行结果:image.png

2.六个属性

  1. 设置编码格式
response.encoding='utf-8'
  1. 返回网页地址
print(response.url)

运行结果:

image.png

  1. 返回网页源码
print(response.text)

运行结果:image.png

  1. 返回二进制的网页源码
print(response.content)

运行结果:image.png

  1. 返回网页状态码
print(response.status_code)

运行结果:

image.png

  1. 返回响应头
print(response.headers)

运行结果:image.png本篇文章就到这里啦,下篇文章我们一起学习如何去使用requests库!!


相关文章
|
4天前
|
Linux iOS开发 MacOS
【chat-gpt问答记录】python虚拟环境venv的简介及使用
【chat-gpt问答记录】python虚拟环境venv的简介及使用
15 2
|
4天前
|
JSON Java API
Python教程:一文了解Python requests模块
Python 中的 requests 模块是一个简洁而强大的 HTTP 库,用于向 Web 服务器发送 HTTP 请求和处理响应。它让开发者能够更轻松地与网络资源进行交互,包括发送 GET、POST、PUT、DELETE 等类型的请求,并处理返回的数据。
24 6
|
7天前
|
数据采集 存储 数据挖掘
Python网络爬虫实战:抓取并分析网页数据
使用Python的`requests`和`BeautifulSoup`,本文演示了一个简单的网络爬虫,抓取天气网站数据并进行分析。步骤包括发送HTTP请求获取HTML,解析HTML提取温度和湿度信息,以及计算平均温度。注意事项涉及遵守robots.txt、控制请求频率及处理动态内容。此基础爬虫展示了数据自动收集和初步分析的基础流程。【6月更文挑战第14天】
74 9
|
2天前
|
数据采集 存储 JSON
Python网络爬虫教程概览
【6月更文挑战第21天】Python网络爬虫教程概览:安装requests和BeautifulSoup库抓取网页;使用HTTP GET请求获取HTML,解析标题;利用CSS选择器提取数据;处理异步内容可选Selenium;遵循爬虫策略,处理异常,尊重法律与网站规定。
7 1
|
8天前
|
JSON 数据格式 Python
Python 的 requests 库是一个强大的 HTTP 客户端库,用于发送各种类型的 HTTP 请求
【6月更文挑战第15天】Python的requests库简化了HTTP请求。安装后,使用`requests.get()`发送GET请求,检查`status_code`为200表示成功。类似地,`requests.post()`用于POST请求,需提供JSON数据和`Content-Type`头。
34 6
|
8天前
|
存储 IDE Linux
Python零基础入门-0 Python简介和开发环境PyCharm配置
Python零基础入门-0 Python简介和开发环境PyCharm配置
|
8天前
|
存储 数据格式 Python
Python零基础入门-11 标准库简介 —— 第二部分
Python零基础入门-11 标准库简介 —— 第二部分
|
8天前
|
XML 存储 数据库
Python零基础入门-10 标准库简介
Python零基础入门-10 标准库简介
|
8天前
|
JSON API 数据格式
如何用 Python 的 requests 库发送 JSON 数据的 POST 请求
使用 requests 库发送 JSON 数据的 POST 请求是一个非常简单且实用的操作。通过将目标 URL 和 JSON 数据传递给 requests.post 方法,你可以轻松发送请求并处理响应。本篇文章介绍了从安装 requests 库,到发送 JSON 数据的 POST 请求,再到处理响应的整个流程。希望这篇文章能帮助你更好地理解并应用这个强大的 HTTP 请求库。
|
12天前
|
数据采集 存储 中间件
Scrapy,作为一款强大的Python网络爬虫框架,凭借其高效、灵活、易扩展的特性,深受开发者的喜爱
【6月更文挑战第10天】Scrapy是Python的高效爬虫框架,以其异步处理、多线程及中间件机制提升爬取效率。它提供丰富组件和API,支持灵活的数据抓取、清洗、存储,可扩展到各种数据库。通过自定义组件,Scrapy能适应动态网页和应对反爬策略,同时与数据分析库集成进行复杂分析。但需注意遵守法律法规和道德规范,以合法合规的方式进行爬虫开发。随着技术发展,Scrapy在数据收集领域将持续发挥关键作用。
56 4