Python网络数据抓取(2):HTTP Headers

简介: Python网络数据抓取(2):HTTP Headers

简介

接下来,本文会向大家阐述 HTTP 请求中的“请求头”(headers)的概念,并通过实例来帮助大家理解。让本文直接进入主题。

想必大家都知道,在进行 API 调用的过程中,本文实际上是在通过一个“信封”传递信息。可以把这个“信封”想象成一个客户端和服务器之间的交流媒介,客户端是发件人,服务器是收件人。

在这个“信封”里面装的,就是本文要从客户端发送到服务器的数据。但就像本文平时寄信一样,在信封上除了写明收件人的地址,还会有一个退件地址,以防信件无法送达时使用。

这个比喻是为了帮助大家理解请求头(headers)的作用。在网络通信中,请求头就相当于信封上的地址标签,它告诉服务器数据要发送到哪里,同时也提供了一些额外的信息,以便在数据无法正常送达时能够找到正确的处理方式。

为了更好地理解请求头,本文可以将其分为四大类。

  • Request Headers
  • Response Headers
  • Payload Headers
  • Representation Headers

请求头和响应头之间并没有绝对的界限,它们可以相互转换。接下来,本文将深入了解每一种头具体代表的意义。

Request Headers

它就像其他头部一样,是一个键值对,由请求数据的客户端发送。发送它的目的是让服务器理解如何发送响应。它还有助于服务器识别请求的发送者。

以下是一些请求头的示例:

  • Host(主机): www.medium.com
  • User-Agent(用户代理): Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko)Chrome/74.0.3729.169 Safari/537.36 Referer
  • (引荐页): https://medium.com
  • Connection(连接): close(关闭)
  • Accept-Language(接受语言): en-us(英语美国)
  • Accept-Encoding(接受编码): gzip(压缩格式)

需要注意的是,Content-Type 并不是请求头,而是一种表示头。这一点可能会引起混淆,但了解这一点对理解 HTTP 通信非常重要。

通过上述示例,本文可以看到 Host 和 User-Agent 头包含了发起请求的客户端信息。

Accept-Language 头则是用来告诉服务器,客户端能够理解响应内容的语言,例如这里的 en-us 表示英语(美国)。而 Accept-Encoding 头则表明,即使服务器发送的是经过 gzip 压缩的数据,客户端也能够正确解析和理解。

Response Headers

它们就像请求头部一样,只不过传输的方向相反。实际上,这些头部是服务器发送给客户端的。它向客户端解释了如何处理响应。它提供了有关发送的数据的额外信息。

响应头部的示例:

  • Connection: keep-alive
  • Date: Mon, 08 Nov 2022
  • Server: nginx
  • Content-Type: text/html
  • Transfer-Encoding: chunked
  • Etag: W/"0815"

Etag 用于版本控制和缓存。Date 告诉客户端响应从服务器发送到客户端的日期。但是 Content-Type 或 Content-Encoding 是本文稍后将要讨论的表示头部。

Representation Headers

Representation headers 表示已传输数据的类型。从服务器发送到客户端的数据可以是任何格式,比如 JSON、HTML、XML、分块(如果数据量很大)等。服务器还告诉客户端有关内容的范围。

表示头部的示例:

  • Content-Type: text/html
  • Content-Encoding: gzip
  • Content-Length: 3523
  • Content-Range: bytes 50–1000/*
  • Content-Location: /docs/fo.xml

Content-Location 告诉客户端有关资源或数据的备用位置,客户端可以从中检索信息。它可以是存储特定资源的 URL。

除了这些头部之外,还可以有不同的头部,比如 Trailer、Transfer-Encoding、Etag、if-Not-Match、Authorizations 等。

现在,如果您正在编写 API,并且想要定义自己的自定义头部呢?您可以完全做到。就像您定义 API 的请求和响应结构的方式一样,您也可以实现服务器接受的自定义头部,或者您自己定义的自定义头部。

自定义头部的一个示例可能是 Authorization 头部。该头部可以具有任何值。此外,服务器可以使用该值来识别客户端,或者用于任何其他逻辑操作。

相关文章
|
10天前
|
机器学习/深度学习 人工智能 算法
猫狗宠物识别系统Python+TensorFlow+人工智能+深度学习+卷积网络算法
宠物识别系统使用Python和TensorFlow搭建卷积神经网络,基于37种常见猫狗数据集训练高精度模型,并保存为h5格式。通过Django框架搭建Web平台,用户上传宠物图片即可识别其名称,提供便捷的宠物识别服务。
141 55
|
20天前
|
机器学习/深度学习 人工智能 算法
【宠物识别系统】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+图像识别
宠物识别系统,本系统使用Python作为主要开发语言,基于TensorFlow搭建卷积神经网络算法,并收集了37种常见的猫狗宠物种类数据集【'阿比西尼亚猫(Abyssinian)', '孟加拉猫(Bengal)', '暹罗猫(Birman)', '孟买猫(Bombay)', '英国短毛猫(British Shorthair)', '埃及猫(Egyptian Mau)', '缅因猫(Maine Coon)', '波斯猫(Persian)', '布偶猫(Ragdoll)', '俄罗斯蓝猫(Russian Blue)', '暹罗猫(Siamese)', '斯芬克斯猫(Sphynx)', '美国斗牛犬
109 29
【宠物识别系统】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+图像识别
|
4天前
|
数据采集 网络安全 Python
【Python】怎么解决:urllib.error.HTTPError: HTTP Error 403: Forbidden
解决 `urllib.error.HTTPError: HTTP Error 403: Forbidden`错误需要根据具体情况进行不同的尝试。通过检查URL、模拟浏览器请求、使用代理服务器和Cookies、减慢请求速度、使用随机的User-Agent以及使用更加方便的 `requests`库,可以有效解决此类问题。通过逐步分析和调试,可以找到最合适的解决方案。
45 18
|
2天前
|
JSON Dart 前端开发
鸿蒙应用开发从入门到入行 - 篇7:http网络请求
在本篇文章里,您将掌握鸿蒙开发工具DevEco的基本使用、ArkUI里的基础组件,并通过制作一个简单界面掌握使用
21 8
|
1天前
|
数据采集 安全 搜索推荐
HTTP代理IP纯净度 提升用户网络体验的核心竞争力
随着互联网发展,使用HTTP动态代理IP的需求日益增加。高纯净度的代理IP在隐私与安全、网络体验和业务运营方面至关重要。它能保护用户信息、提高数据安全性、确保访问速度和连接稳定,并提升业务效率与信誉度。
14 2
|
6天前
|
缓存 负载均衡 监控
HTTP代理服务器在网络安全中的重要性
随着科技和互联网的发展,HTTP代理IP中的代理服务器在企业业务中扮演重要角色。其主要作用包括:保护用户信息、访问控制、缓存内容、负载均衡、日志记录和协议转换,从而在网络管理、性能优化和安全性方面发挥关键作用。
23 2
|
18天前
|
数据采集 数据安全/隐私保护 Python
【Python】已解决:urllib.error.HTTPError: HTTP Error 403: Forbidden
通过上述方法,可以有效解决 `urllib.error.HTTPError: HTTP Error 403: Forbidden` 错误。具体选择哪种方法取决于服务器对请求的限制。通常情况下,添加用户代理和模拟浏览器请求是最常见且有效的解决方案。
85 10
|
20天前
|
机器学习/深度学习 人工智能 算法
深度学习入门:用Python构建你的第一个神经网络
在人工智能的海洋中,深度学习是那艘能够带你远航的船。本文将作为你的航标,引导你搭建第一个神经网络模型,让你领略深度学习的魅力。通过简单直观的语言和实例,我们将一起探索隐藏在数据背后的模式,体验从零开始创造智能系统的快感。准备好了吗?让我们启航吧!
46 3
|
22天前
|
数据采集 JSON 测试技术
Grequests,非常 Nice 的 Python 异步 HTTP 请求神器
在Python开发中,处理HTTP请求至关重要。`grequests`库基于`requests`,支持异步请求,通过`gevent`实现并发,提高性能。本文介绍了`grequests`的安装、基本与高级功能,如GET/POST请求、并发控制等,并探讨其在实际项目中的应用。
32 3
|
25天前
|
网络安全 Python
Python网络编程小示例:生成CIDR表示的IP地址范围
本文介绍了如何使用Python生成CIDR表示的IP地址范围,通过解析CIDR字符串,将其转换为二进制形式,应用子网掩码,最终生成该CIDR块内所有可用的IP地址列表。示例代码利用了Python的`ipaddress`模块,展示了从指定CIDR表达式中提取所有IP地址的过程。
38 6