Python3 新一代Http请求库Httpx使用(详情版)(下)

简介: Python3 新一代Http请求库Httpx使用(详情版)

Python3 新一代Http请求库Httpx使用(详情版)(上):https://developer.aliyun.com/article/1462934


三、 代理


1、 简介


HTTPX 支持通过proxies客户端初始化或顶级 API 函数(如httpx.get(..., proxies=...).


2、 使用方法


2.1 简单使用


要将所有流量(HTTP 和 HTTPS)路由到位于 的代理http://localhost:8030,请将代理 URL 传递给客户端...

with httpx.Client(proxies="http://localhost:8030") as client:
    ...

对于更高级的用例,传递一个 proxies dict。例如,要将 HTTP 和 HTTPS 请求路由到 2 个不同的代理,分别位于http://localhost:8030http://localhost:8031,传递一个dict代理 URL:

proxies = {
    "http://": "http://localhost:8030",
    "https://": "https://localhost:8031",
}
with httpx.Client(proxies=proxies) as client:
    ...

2.2 验证


代理凭据可以作为userinfo代理 URL 的部分传递。例如:

proxies = {
    "http://": "http://username:password@localhost:8030",
    # ...
}

2.3 路由


HTTPX 提供了细粒度的控制来决定哪些请求应该通过代理,哪些不应该。此过程称为代理路由。


proxies字典将 URL 模式(“代理键”)映射到代理 URL。HTTPX 将请求的 URL 与代理密钥进行匹配,以决定应该使用哪个代理(如果有)。从最具体的代理密钥(例如https://:)到最不具体的代理密钥(例如 )进行匹配https://


HTTPX 支持基于schemedomainport或这些的组合的路由代理。


2.3.1 通配符路由


通过代理路由所有内容...

proxies = {
    "all://": "http://localhost:8030",
}

2.3.2 方案路由


通过一个代理路由 HTTP 请求,通过另一个代理路由 HTTPS 请求...

proxies = {
    "http://": "http://localhost:8030",
    "https://": "https://localhost:8031",
}

2.3.3 域路由

# 代理域“example.com”上的所有请求,让其他请求通过... 
proxies = {
    "all://example.com": "http://localhost:8030",
}
# 代理域“example.com”上的 HTTP 请求,让 HTTPS 和其他请求通过...
proxies = {
    "http://example.com": "http://localhost:8030",
}
# 将所有请求代理到“example.com”及其子域,让其他请求通过...
proxies = {
    "all://*example.com": "http://localhost:8030",
}
# 代理所有请求到“example.com”的严格子域,让“example.com”等请求通过...
proxies = {
    "all://*.example.com": "http://localhost:8030",
}

2.3.4 端口路由


将端口 1234 上的 HTTPS 请求代理到“example.com”...

proxies = {
    "https://example.com:1234": "https://localhost:8030",
}

代理端口 1234 上的所有请求...

proxies = {
    "all://*:1234": "http://localhost:8030",
}

2.3.5 无代理支持


也可以定义_不应_通过代理路由的请求。


为此,请None作为代理 URL 传递。例如...

proxies = {
    # Route requests through a proxy by default...
    "all://": "http://localhost:8031",
    # Except those for "example.com".
    "all://example.com": None,
}

3、 区别


3.1 前言


有细心的朋友就发现了,我前面不是说大部分参数requests库一样么?怎么代理的有点不一样呢?注意啊,我的意思是大部分一样,这样便于大家理解和记忆。


那么,这个代理的区别在哪呢?


我们来看一下requests的代理的使用


3.2 requests代理


使用 proxies任何请求方法的参数配置单个请求, 确保在存在环境代理的情况下使用代理:

# 普通的代理
import requests
proxies = {
  'http': 'http://10.10.1.10:3128',
  'https': 'http://10.10.1.10:1080',
}  
requests.get('http://example.org', proxies=proxies)
# 权限认证
proxies = {'http': 'http://user:pass@10.10.1.10:3128/'}
# 给特定的方案和主机提供代理,这将匹配对给定方案和确切主机名的任何请求。
proxies = {'http://example.org': 'http://10.10.1.10:5323'}  # 其为一个简单的路由功能,进行简单的代理分发

3.3 总结


通过回顾requests代理,相信大家就发现了区别了:

  • 在代理字典中,httpx代理的键最后面有两个斜杆,而requests代理没有
  • 我的理解是,这应该是各自第三方库的语法没有一致的标准,这造成了代理ip的语法不一
  • 比如,aiohttp的代理是这样使用的:
async with aiohttp.ClientSession() as session:
    proxy_auth = aiohttp.BasicAuth('user', 'pass')
    async with session.get("http://python.org",
                           proxy="http://proxy.com",
                           proxy_auth=proxy_auth) as resp:
        print(resp.status)
注意: proxy_auth = aiohttp.BasicAuth('your_user', 'your_password') 其为权限认证,当然,权限认证的方法还可以在 urlStr中, proxy = 'http://your_proxy_url:your_proxy_port'
  • 以及scrapy框架的代理是这样使用的:
def start_requests(self):
    for url in self.start_urls:
        return Request(url=url, callback=self.parse,
                       headers={"User-Agent": "scrape web"},
                       meta={"proxy": "http:/154.112.82.262:8050"})  
# 权限认证:
# request.headers["Proxy-Authorization"] = basic_auth_header("<proxy_user>", "<proxy_pass>")
它是给request中的meta对象添加代理: request.meta["proxy"] = "http://192.168.1.1:8050"
  • 当然,如果大家有更好的看法的话,可以私信我哦!
  • 同时,httpx的代理功能更为全面,其可以让我们的代码更加优雅!


四、 异步客户端


1、 简介


HTTPX 默认提供标准的同步 API,但如果需要,还可以选择异步客户端。


异步是一种比多线程更高效的并发模型,并且可以提供显着的性能优势并支持使用长寿命的网络连接,例如 WebSockets


如果您使用的是异步 Web 框架,那么您还需要使用异步客户端来发送传出的 HTTP 请求。


发送异步请求:

import asyncio
import httpx
async def test():
    async with httpx.AsyncClient() as client:
        r = await client.get("https://www.baidu.com")
    print(r)
tasks = [test() for i in range(100)]
asyncio.run(asyncio.wait(tasks))

2、 API 差异


如果您使用的是异步客户端,那么有一些 API 使用异步方法。


2.1 发出请求


请求方法都是异步的,因此您应该response = await client.get(...)对以下所有内容使用样式:

  • AsyncClient.get(url, ...)
  • AsyncClient.options(url, ...)
  • AsyncClient.head(url, ...)
  • AsyncClient.post(url, ...)
  • AsyncClient.put(url, ...)
  • AsyncClient.patch(url, ...)
  • AsyncClient.delete(url, ...)
  • AsyncClient.request(method, url, ...)
  • AsyncClient.send(request, ...)


2.2 打开和关闭客户


async with httpx.AsyncClient()如果您需要上下文管理的客户端,请使用...

async with httpx.AsyncClient() as client:
    ...

或者,await client.aclose()如果您想明确关闭客户端,请使用:

client = httpx.AsyncClient()
...
await client.aclose()

2.3 流式响应


AsyncClient.stream(method, url, ...)方法是一个异步上下文块

client = httpx.AsyncClient()
async with client.stream('GET', 'https://www.example.com/') as response:
    async for chunk in response.aiter_bytes():
        ...

异步响应流方法是:

  • Response.aread()- 用于有条件地读取流块内的响应。
  • Response.aiter_bytes()- 用于将响应内容作为字节流式传输。
  • Response.aiter_text()- 用于将响应内容作为文本流式传输。
  • Response.aiter_lines()- 用于将响应内容流式传输为文本行。
  • Response.aiter_raw()- 用于流式传输原始响应字节,而不应用内容解码。
  • Response.aclose()- 用于关闭响应。你通常不需要这个,因为.streamblock 在退出时会自动关闭响应。


对于上下文块使用不实例的情况,可以通过使用 发送实例来进入“手动模式

[Request]client.send(..., stream=True)。
import httpx
from starlette.background import BackgroundTask
from starlette.responses import StreamingResponse
client = httpx.AsyncClient()
async def home(request):
    req = client.build_request("GET", "https://www.example.com/")
    r = await client.send(req, stream=True)
    return StreamingResponse(r.aiter_text(), background=BackgroundTask(r.aclose))

使用这种“手动流模式”时,作为开发人员,您有责任确保Response.aclose()最终调用它。不这样做会使连接保持打开状态,很可能导致资源泄漏。


2.4 流式传输请求

async def upload_bytes():
    ...  # yield byte content
await client.post(url, content=upload_bytes())

3、 异步环境


3.1 asyncio


AsyncIO 是 Python 的内置库 ,用于使用 async/await 语法编写并发代码。

import asyncio
import httpx
async def main():
    async with httpx.AsyncClient() as client:
        response = await client.get('https://www.example.com/')
        print(response)
asyncio.run(main())

3.2 trio


Trio 是一个替代异步库,围绕结构化并发原则设计。

import httpx
import trio
async def main():
    async with httpx.AsyncClient() as client:
        response = await client.get('https://www.example.com/')
        print(response)
trio.run(main)

trio必须安装该软件包才能使用 Trio 后端。


3.3 anyio


AnyIO 是一个异步网络和并发库,可在asynciotrio. 它与您选择的后端的本机库融合在一起(默认为asyncio)。

import httpx
import anyio
async def main():
    async with httpx.AsyncClient() as client:
        response = await client.get('https://www.example.com/')
        print(response)
anyio.run(main, backend='trio')

4、 python web


正如httpx.Client允许您直接调用 WSGI Web 应用程序一样,httpx.AsyncClient该类允许您直接调用 ASGI Web 应用程序。


我们以这个 Starlette 应用为例:

from starlette.applications import Starlette
from starlette.responses import HTMLResponse
from starlette.routing import Route
async def hello(request):
    return HTMLResponse("Hello World!")
app = Starlette(routes=[Route("/", hello)])

我们可以直接向应用程序发出请求,如下所示:

import httpx
async with httpx.AsyncClient(app=app, base_url="http://testserver") as client:
    r = await client.get("/")
    assert r.status_code == 200
    assert r.text == "Hello World!"

对于一些更复杂的情况,您可能需要自定义 ASGI 传输。这使您可以:

  • 通过设置检查 500 个错误响应而不是引发异常raise_app_exceptions=False
  • 通过设置将 ASGI 应用程序挂载到子路径root_path
  • 通过设置为请求使用给定的客户端地址client


例如:

# Instantiate a client that makes ASGI requests with a client IP of "1.2.3.4",
# on port 123.
transport = httpx.ASGITransport(app=app, client=("1.2.3.4", 123))
async with httpx.AsyncClient(transport=transport, base_url="http://testserver") as client:
    ...

五、总结及注意事项


httpx库协程好处


使用协程的方式可以帮助我们更好地利用 CPU 资源,同时也可以提高程序的效率。


注意事项


  • 使用httpx库协程时,需要确保协程的数量不会过大,以免造成资源浪费和服务器压力。
  • 对于请求和响应处理,应尽量避免使用阻塞式调用,可以使用异步回调的方式来处理。
  • 在使用httpx库协程时,应尽量避免使用全局变量,以免引起不必要的错误。
  • 尽量使用连接池,以减少对服务器的压力
相关文章
|
25天前
|
JSON API 数据格式
Python中获取HTTP请求响应体的详解
本文介绍了如何使用Python的`requests`和`urllib`库发送HTTP请求并处理响应体。`requests`库简化了HTTP请求过程,适合快速开发;`urllib`库则更为底层,适用于性能要求较高的场景。文章详细演示了发送GET请求、处理JSON响应等常见操作。
38 3
|
6天前
|
Web App开发 网络安全 数据安全/隐私保护
Lua中实现HTTP请求的User-Agent自定义
Lua中实现HTTP请求的User-Agent自定义
|
1月前
|
前端开发 JavaScript Java
如何捕获和处理HTTP GET请求的异常
如何捕获和处理HTTP GET请求的异常
|
1月前
|
开发者
HTTP 协议请求方法的发展历程
【10月更文挑战第21天】
|
1月前
|
缓存 安全 前端开发
HTTP 协议的请求方法在实际应用中有哪些注意事项?
【10月更文挑战第29天】HTTP协议的请求方法在实际应用中需要根据具体的业务场景和需求,合理选择和使用,并注意各种方法的特点和限制,以确保网络通信的安全、高效和数据的一致性。
|
开发者 Python
根据不同的请求返回不同的内容 | 手把手教你入门Python之一百一十二
本节实现根据不同的请求返回不同的内容,使浏览器访问 /register 或 /login 使返回不同的内容。
根据不同的请求返回不同的内容 | 手把手教你入门Python之一百一十二
|
18天前
|
存储 数据挖掘 开发者
Python编程入门:从零到英雄
在这篇文章中,我们将一起踏上Python编程的奇幻之旅。无论你是编程新手,还是希望拓展技能的开发者,本教程都将为你提供一条清晰的道路,引导你从基础语法走向实际应用。通过精心设计的代码示例和练习,你将学会如何用Python解决实际问题,并准备好迎接更复杂的编程挑战。让我们一起探索这个强大的语言,开启你的编程生涯吧!
|
24天前
|
机器学习/深度学习 人工智能 TensorFlow
人工智能浪潮下的自我修养:从Python编程入门到深度学习实践
【10月更文挑战第39天】本文旨在为初学者提供一条清晰的道路,从Python基础语法的掌握到深度学习领域的探索。我们将通过简明扼要的语言和实际代码示例,引导读者逐步构建起对人工智能技术的理解和应用能力。文章不仅涵盖Python编程的基础,还将深入探讨深度学习的核心概念、工具和实战技巧,帮助读者在AI的浪潮中找到自己的位置。
|
24天前
|
机器学习/深度学习 数据挖掘 Python
Python编程入门——从零开始构建你的第一个程序
【10月更文挑战第39天】本文将带你走进Python的世界,通过简单易懂的语言和实际的代码示例,让你快速掌握Python的基础语法。无论你是编程新手还是想学习新语言的老手,这篇文章都能为你提供有价值的信息。我们将从变量、数据类型、控制结构等基本概念入手,逐步过渡到函数、模块等高级特性,最后通过一个综合示例来巩固所学知识。让我们一起开启Python编程之旅吧!
|
24天前
|
存储 Python
Python编程入门:打造你的第一个程序
【10月更文挑战第39天】在数字时代的浪潮中,掌握编程技能如同掌握了一门新时代的语言。本文将引导你步入Python编程的奇妙世界,从零基础出发,一步步构建你的第一个程序。我们将探索编程的基本概念,通过简单示例理解变量、数据类型和控制结构,最终实现一个简单的猜数字游戏。这不仅是一段代码的旅程,更是逻辑思维和问题解决能力的锻炼之旅。准备好了吗?让我们开始吧!