深入解析Python `httpx`源码,探索现代HTTP客户端的秘密!

简介: 深入解析Python `httpx`源码,探索现代HTTP客户端的秘密!


🔸 第一部分:httpx请求入口

我们从最常用的入口开始,看看如何使用httpx库发送HTTP请求。通常,我们会使用 httpx.get()httpx.post() 方法:

import httpx
response = httpx.get('https://example.com')
print(response.status_code)
print(response.text)

🔹 这些方法的背后到底发生了什么呢?我们从httpx.get()方法的实现看起。


🔸 第二部分:get方法的实现

httpx.get() 只是对 httpx.request() 方法的简单封装:

# httpx/_api.py
def get(url: str, *, params: dict = None, headers: dict = None, cookies: dict = None, auth = None, timeout = None, allow_redirects: bool = True, **kwargs):
    return request("GET", url, params=params, headers=headers, cookies=cookies, auth=auth, timeout=timeout, allow_redirects=allow_redirects, **kwargs)

🔹 get()方法将请求方法设置为"GET",然后调用内部的 request() 方法。让我们深入 request() 方法。


🔸 第三部分:request方法揭秘

request() 方法是 httpx 库的核心方法,负责处理所有类型的HTTP请求:

# httpx/_api.py
def request(
    method: str,
    url: str,
    *,
    params: dict = None,
    data: dict = None,
    json: dict = None,
    headers: dict = None,
    cookies: dict = None,
    files: dict = None,
    auth = None,
    timeout = None,
    allow_redirects: bool = True,
    **kwargs
):
    with Client() as client:
        return client.request(
            method, url, params=params, data=data, json=json, headers=headers, cookies=cookies, files=files, auth=auth, timeout=timeout, allow_redirects=allow_redirects, **kwargs
        )

🔹 request() 方法创建一个 Client 对象,并调用 client.request() 来实际发送请求。接下来,我们看看 Client 对象的实现。


🔸 第四部分:Client对象的奥秘

Client 对象在httpx库中扮演了重要角色。它不仅可以发送请求,还能管理会话和连接:

# httpx/_client.py
class Client(BaseClient):
    def request(
        self,
        method: str,
        url: str,
        *,
        params: dict = None,
        data: dict = None,
        json: dict = None,
        headers: dict = None,
        cookies: dict = None,
        files: dict = None,
        auth = None,
        timeout = None,
        allow_redirects: bool = True,
        **kwargs
    ):
        request = self.build_request(
            method, url, params=params, data=data, json=json, headers=headers, cookies=cookies, files=files, auth=auth
        )
        response = self.send(request, timeout=timeout, allow_redirects=allow_redirects, **kwargs)
        return response

🔹 Client 对象的 request() 方法中首先调用 build_request() 方法来构建 Request 对象。然后调用 send() 方法来发送请求。


🔸 第五部分:Request对象的构建

build_request() 方法负责构建一个 Request 对象:

# httpx/_client.py
class Client(BaseClient):
    def build_request(
        self,
        method: str,
        url: str,
        *,
        params: dict = None,
        data: dict = None,
        json: dict = None,
        headers: dict = None,
        cookies: dict = None,
        files: dict = None,
        auth = None
    ) -> Request:
        request = Request(
            method=method,
            url=url,
            params=params,
            data=data,
            json=json,
            headers=headers,
            cookies=cookies,
            files=files,
            auth=auth,
        )
        return request

🔹 build_request() 方法中,将请求的方法、URL、头信息、数据等封装到 Request 对象中。


🔸 第六部分:发送请求

当请求准备好后,Client 对象的 send() 方法负责实际发送HTTP请求:

# httpx/_client.py
class Client(BaseClient):
    def send(
        self,
        request: Request,
        *,
        stream: bool = False,
        timeout = None,
        allow_redirects: bool = True,
        **kwargs
    ) -> Response:
        response = self._send_handling_redirects(request, timeout=timeout, allow_redirects=allow_redirects, **kwargs)
        return response

🔹 send() 方法会处理重定向和超时等情况,通过调用 _send_handling_redirects() 方法来实际发送请求。


🔸 第七部分:处理重定向

_send_handling_redirects() 方法负责处理请求的重定向逻辑:

# httpx/_client.py
class Client(BaseClient):
    def _send_handling_redirects(
        self,
        request: Request,
        *,
        timeout = None,
        allow_redirects: bool = True,
        **kwargs
    ) -> Response:
        response = self._send_single_request(request, timeout=timeout, **kwargs)
        while response.is_redirect and allow_redirects:
            request = self.build_request("GET", response.headers["location"])
            response = self._send_single_request(request, timeout=timeout, **kwargs)
        return response

🔹 通过检查响应的重定向状态并构建新的请求对象,_send_handling_redirects() 方法确保了所有重定向都能被正确处理。


🔸 第八部分:发送单个请求

_send_single_request() 方法通过底层的transport来实际发送请求:

# httpx/_client.py
class Client(BaseClient):
    def _send_single_request(self, request: Request, timeout = None, **kwargs) -> Response:
        transport = self._transport_for_url(request.url)
        response = transport.handle_request(request, timeout=timeout)
        return response

🔹 _send_single_request() 方法中最重要的一步是调用 transport.handle_request() 方法来实际发送请求。


🔸 总结

🔹 通过以上解析,我们了解了 httpx 库从发送请求到接收响应的全过程。从 httpx.get() 方法开始,经过 Client 对象的处理、Request 的构建、请求的发送和重定向的处理,最终构建 Response 对象。这一系列流程确保了 httpx 库能够简洁、高效地处理HTTP请求,让开发者可以专注于业务逻辑的实现。


目录
相关文章
|
9天前
|
JSON 算法 API
1688商品详情API实战:Python调用全流程与数据解析技巧
本文介绍了1688电商平台的商品详情API接口,助力电商从业者高效获取商品信息。接口可返回商品基础属性、价格体系、库存状态、图片描述及商家详情等多维度数据,支持全球化语言设置。通过Python示例代码展示了如何调用该接口,帮助用户快速上手,适用于选品分析、市场研究等场景。
|
24天前
|
移动开发 自然语言处理 Linux
Python中r前缀:原始字符串的魔法解析
本文深入解析Python中字符串的r前缀(原始字符串)的设计原理与应用场景。首先分析传统字符串转义机制的局限性,如“反斜杠地狱”问题;接着阐述原始字符串的工作机制,包括语法定义、与三引号结合的用法及特殊场景处理。文章重点探讨其在正则表达式、文件路径和多语言文本处理中的核心应用,并分享动态构建、混合模式编程等进阶技巧。同时纠正常见误区,展望未来改进方向,帮助开发者更好地理解和使用这一特性,提升代码可读性和维护性。
41 0
|
1天前
|
Python
Python技术解析:了解数字类型及数据类型转换的方法。
在Python的世界里,数字并不只是简单的数学符号,他们更多的是一种生动有趣的语言,用来表达我们的思维和创意。希望你从这个小小的讲解中学到了有趣的内容,用Python的魔法揭示数字的奥秘。
46 26
|
5天前
|
监控 供应链 数据挖掘
淘宝商品详情API接口解析与 Python 实战指南
淘宝商品详情API接口是淘宝开放平台提供的编程工具,支持开发者获取商品详细信息,包括基础属性、价格、库存、销售策略及卖家信息等。适用于电商数据分析、竞品分析与价格策略优化等场景。接口功能涵盖商品基础信息、详情描述、图片视频资源、SKU属性及评价统计的查询。通过构造请求URL和签名,可便捷调用数据。典型应用场景包括电商比价工具、商品数据分析平台、供应链管理及营销活动监控等,助力高效运营与决策。
84 26
|
10天前
|
数据采集 Web App开发 前端开发
Python+Selenium爬虫:豆瓣登录反反爬策略解析
Python+Selenium爬虫:豆瓣登录反反爬策略解析
|
10天前
|
JSON API 数据格式
手把手教你抓取京东商品评论:API 接口解析与 Python 实战
京东商品评论蕴含用户对产品质量、体验和服务的真实反馈,分析这些数据有助于企业优化产品和满足用户需求。由于京东未提供官方API,需通过逆向工程获取评论数据。其主要接口为“商品评论列表接口”,支持按商品ID、评分、排序方式等参数获取评论,返回JSON格式数据,包含评论列表、摘要(如好评率)及热门标签等信息。
|
20天前
|
传感器 物联网 Linux
Python:蓝牙心率广播设备监测(BLE 心率监测器)技术解析与实现
本文探讨了如何使用 Python 脚本与支持蓝牙低功耗(BLE)心率广播的设备交互以获取实时心率数据。重点分析了 BLE 协议、GATT 服务模型,以及具体方法。此外,还讨论了华为手表等设备的兼容性问题。
112 19
|
17天前
|
机器学习/深度学习 算法 关系型数据库
Python循环进阶:嵌套与控制的深度解析
本文深入探讨Python中嵌套循环的原理与应用,从数学模型到工程实践全面解析。内容涵盖嵌套循环的本质(如笛卡尔积实现、变量作用域)、精细控制技巧(如break/continue、迭代器协议、异常处理),以及性能优化策略(预计算、向量化等)。同时结合树形结构遍历、动态规划、游戏开发等典型场景,提供最佳实践建议。掌握这些技巧,助你突破编程瓶颈,实现复杂问题的优雅解决。
43 6
|
5天前
|
人工智能 缓存 搜索推荐
1688图片搜索API接口解析与 Python实战指南
1688图片搜索API接口支持通过上传图片搜索相似商品,适用于电商及商品推荐场景。用户上传图片后,经图像识别提取特征并生成关键词,调用接口返回包含商品ID、标题和价格的相似商品列表。该接口需提供图片URL或Base64编码数据,还可附加分页与筛选参数。示例代码展示Python调用方法,调试时建议使用沙箱环境测试稳定性,并优化性能与错误处理逻辑。
|
1月前
|
存储 监控 算法
员工电脑监控场景下 Python 红黑树算法的深度解析
在当代企业管理范式中,员工电脑监控业已成为一种广泛采用的策略性手段,其核心目标在于维护企业信息安全、提升工作效能并确保合规性。借助对员工电脑操作的实时监测机制,企业能够敏锐洞察潜在风险,诸如数据泄露、恶意软件侵袭等威胁。而员工电脑监控系统的高效运作,高度依赖于底层的数据结构与算法架构。本文旨在深入探究红黑树(Red - Black Tree)这一数据结构在员工电脑监控领域的应用,并通过 Python 代码实例详尽阐释其实现机制。
53 7