深入解析Python `httpx`源码,探索现代HTTP客户端的秘密!

本文涉及的产品
全局流量管理 GTM,标准版 1个月
云解析 DNS,旗舰版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
简介: 深入解析Python `httpx`源码,探索现代HTTP客户端的秘密!


🔸 第一部分:httpx请求入口

我们从最常用的入口开始,看看如何使用httpx库发送HTTP请求。通常,我们会使用 httpx.get()httpx.post() 方法:

import httpx
response = httpx.get('https://example.com')
print(response.status_code)
print(response.text)

🔹 这些方法的背后到底发生了什么呢?我们从httpx.get()方法的实现看起。


🔸 第二部分:get方法的实现

httpx.get() 只是对 httpx.request() 方法的简单封装:

# httpx/_api.py
def get(url: str, *, params: dict = None, headers: dict = None, cookies: dict = None, auth = None, timeout = None, allow_redirects: bool = True, **kwargs):
    return request("GET", url, params=params, headers=headers, cookies=cookies, auth=auth, timeout=timeout, allow_redirects=allow_redirects, **kwargs)

🔹 get()方法将请求方法设置为"GET",然后调用内部的 request() 方法。让我们深入 request() 方法。


🔸 第三部分:request方法揭秘

request() 方法是 httpx 库的核心方法,负责处理所有类型的HTTP请求:

# httpx/_api.py
def request(
    method: str,
    url: str,
    *,
    params: dict = None,
    data: dict = None,
    json: dict = None,
    headers: dict = None,
    cookies: dict = None,
    files: dict = None,
    auth = None,
    timeout = None,
    allow_redirects: bool = True,
    **kwargs
):
    with Client() as client:
        return client.request(
            method, url, params=params, data=data, json=json, headers=headers, cookies=cookies, files=files, auth=auth, timeout=timeout, allow_redirects=allow_redirects, **kwargs
        )

🔹 request() 方法创建一个 Client 对象,并调用 client.request() 来实际发送请求。接下来,我们看看 Client 对象的实现。


🔸 第四部分:Client对象的奥秘

Client 对象在httpx库中扮演了重要角色。它不仅可以发送请求,还能管理会话和连接:

# httpx/_client.py
class Client(BaseClient):
    def request(
        self,
        method: str,
        url: str,
        *,
        params: dict = None,
        data: dict = None,
        json: dict = None,
        headers: dict = None,
        cookies: dict = None,
        files: dict = None,
        auth = None,
        timeout = None,
        allow_redirects: bool = True,
        **kwargs
    ):
        request = self.build_request(
            method, url, params=params, data=data, json=json, headers=headers, cookies=cookies, files=files, auth=auth
        )
        response = self.send(request, timeout=timeout, allow_redirects=allow_redirects, **kwargs)
        return response

🔹 Client 对象的 request() 方法中首先调用 build_request() 方法来构建 Request 对象。然后调用 send() 方法来发送请求。


🔸 第五部分:Request对象的构建

build_request() 方法负责构建一个 Request 对象:

# httpx/_client.py
class Client(BaseClient):
    def build_request(
        self,
        method: str,
        url: str,
        *,
        params: dict = None,
        data: dict = None,
        json: dict = None,
        headers: dict = None,
        cookies: dict = None,
        files: dict = None,
        auth = None
    ) -> Request:
        request = Request(
            method=method,
            url=url,
            params=params,
            data=data,
            json=json,
            headers=headers,
            cookies=cookies,
            files=files,
            auth=auth,
        )
        return request

🔹 build_request() 方法中,将请求的方法、URL、头信息、数据等封装到 Request 对象中。


🔸 第六部分:发送请求

当请求准备好后,Client 对象的 send() 方法负责实际发送HTTP请求:

# httpx/_client.py
class Client(BaseClient):
    def send(
        self,
        request: Request,
        *,
        stream: bool = False,
        timeout = None,
        allow_redirects: bool = True,
        **kwargs
    ) -> Response:
        response = self._send_handling_redirects(request, timeout=timeout, allow_redirects=allow_redirects, **kwargs)
        return response

🔹 send() 方法会处理重定向和超时等情况,通过调用 _send_handling_redirects() 方法来实际发送请求。


🔸 第七部分:处理重定向

_send_handling_redirects() 方法负责处理请求的重定向逻辑:

# httpx/_client.py
class Client(BaseClient):
    def _send_handling_redirects(
        self,
        request: Request,
        *,
        timeout = None,
        allow_redirects: bool = True,
        **kwargs
    ) -> Response:
        response = self._send_single_request(request, timeout=timeout, **kwargs)
        while response.is_redirect and allow_redirects:
            request = self.build_request("GET", response.headers["location"])
            response = self._send_single_request(request, timeout=timeout, **kwargs)
        return response

🔹 通过检查响应的重定向状态并构建新的请求对象,_send_handling_redirects() 方法确保了所有重定向都能被正确处理。


🔸 第八部分:发送单个请求

_send_single_request() 方法通过底层的transport来实际发送请求:

# httpx/_client.py
class Client(BaseClient):
    def _send_single_request(self, request: Request, timeout = None, **kwargs) -> Response:
        transport = self._transport_for_url(request.url)
        response = transport.handle_request(request, timeout=timeout)
        return response

🔹 _send_single_request() 方法中最重要的一步是调用 transport.handle_request() 方法来实际发送请求。


🔸 总结

🔹 通过以上解析,我们了解了 httpx 库从发送请求到接收响应的全过程。从 httpx.get() 方法开始,经过 Client 对象的处理、Request 的构建、请求的发送和重定向的处理,最终构建 Response 对象。这一系列流程确保了 httpx 库能够简洁、高效地处理HTTP请求,让开发者可以专注于业务逻辑的实现。


目录
相关文章
|
12天前
|
监控 网络协议 Java
Tomcat源码解析】整体架构组成及核心组件
Tomcat,原名Catalina,是一款优雅轻盈的Web服务器,自4.x版本起扩展了JSP、EL等功能,超越了单纯的Servlet容器范畴。Servlet是Sun公司为Java编程Web应用制定的规范,Tomcat作为Servlet容器,负责构建Request与Response对象,并执行业务逻辑。
Tomcat源码解析】整体架构组成及核心组件
|
2天前
|
Shell
HTTP状态码解析:在Haskell中判断响应成功与否
HTTP状态码解析:在Haskell中判断响应成功与否
|
2天前
|
JSON API 开发者
Python网络编程新纪元:urllib与requests库,让你的HTTP请求无所不能
【9月更文挑战第9天】随着互联网的发展,网络编程成为现代软件开发的关键部分。Python凭借简洁、易读及强大的特性,在该领域展现出独特魅力。本文介绍了Python标准库中的`urllib`和第三方库`requests`在处理HTTP请求方面的优势。`urllib`虽API底层但功能全面,适用于深入控制HTTP请求;而`requests`则以简洁的API和人性化设计著称,使HTTP请求变得简单高效。两者互补共存,共同推动Python网络编程进入全新纪元,无论初学者还是资深开发者都能从中受益。
21 7
|
1天前
|
开发工具
Flutter-AnimatedWidget组件源码解析
Flutter-AnimatedWidget组件源码解析
|
13天前
|
Ubuntu Linux 数据安全/隐私保护
使用Cython库包对python的py文件(源码)进行加密,把python的.py文件生成.so文件并调用
本文介绍了在Linux系统(Ubuntu 18.04)下将Python源代码(`.py文件`)加密为`.so文件`的方法。首先安装必要的工具如`python3-dev`、`gcc`和`Cython`。然后通过`setup.py`脚本使用Cython将`.py文件`转化为`.so文件`,从而实现源代码的加密保护。文中详细描述了从编写源代码到生成及调用`.so文件`的具体步骤。此方法相较于转化为`.pyc文件`提供了更高的安全性。
29 2
|
3天前
|
存储 JSON API
Python编程:解析HTTP请求返回的JSON数据
使用Python处理HTTP请求和解析JSON数据既直接又高效。`requests`库的简洁性和强大功能使得发送请求、接收和解析响应变得异常简单。以上步骤和示例提供了一个基础的框架,可以根据你的具体需求进行调整和扩展。通过合适的异常处理,你的代码将更加健壮和可靠,为用户提供更加流畅的体验。
18 0
|
11天前
|
API C# 开发框架
WPF与Web服务集成大揭秘:手把手教你调用RESTful API,客户端与服务器端优劣对比全解析!
【8月更文挑战第31天】在现代软件开发中,WPF 和 Web 服务各具特色。WPF 以其出色的界面展示能力受到欢迎,而 Web 服务则凭借跨平台和易维护性在互联网应用中占有一席之地。本文探讨了 WPF 如何通过 HttpClient 类调用 RESTful API,并展示了基于 ASP.NET Core 的 Web 服务如何实现同样的功能。通过对比分析,揭示了两者各自的优缺点:WPF 客户端直接处理数据,减轻服务器负担,但需处理网络异常;Web 服务则能利用服务器端功能如缓存和权限验证,但可能增加服务器负载。希望本文能帮助开发者根据具体需求选择合适的技术方案。
39 0
|
11天前
|
Java 缓存 数据库连接
揭秘!Struts 2性能翻倍的秘诀:不可思议的优化技巧大公开
【8月更文挑战第31天】《Struts 2性能优化技巧》介绍了提升Struts 2 Web应用响应速度的关键策略,包括减少配置开销、优化Action处理、合理使用拦截器、精简标签库使用、改进数据访问方式、利用缓存机制以及浏览器与网络层面的优化。通过实施这些技巧,如懒加载配置、异步请求处理、高效数据库连接管理和启用GZIP压缩等,可显著提高应用性能,为用户提供更快的体验。性能优化需根据实际场景持续调整。
34 0
|
11天前
|
中间件 PHP 开发者
深入解析 Laravel 中的 HTTP 中间件
【8月更文挑战第31天】
12 0
|
11天前
|
数据采集 存储 数据库
Python中实现简单爬虫与数据解析
【8月更文挑战第31天】在数字化时代的浪潮中,数据成为了新的石油。本文将带领读者通过Python编程语言,从零开始构建一个简单的网络爬虫,并展示如何对爬取的数据进行解析和处理。我们将一起探索请求网站、解析HTML以及存储数据的基础知识,让每个人都能成为自己数据故事的讲述者。

推荐镜像

更多
下一篇
DDNS