环境
Python3.12
安装fastapi
pip install "fastapi[all]"
代码
from fastapi import FastAPI, Response from fastapi.responses import FileResponse app = FastAPI() @app.get('/') def index(): resp = FileResponse('data.gz') resp.headers['Content-Encoding'] = 'gzip' # 说明这是gzip压缩的数据,否则请求时是乱码 return resp
VSCode选择编译器环境
Cmd+Shift+P选择 Python : Select Interpreter
运行服务
uvicorn server:app
Uvicorn 简介
uvicorn是一个基于asyncio开发的一个轻量级高效的web服务器框架
uvicorn 设计的初衷是想要实现两个目标：
使用uvloop和httptools 实现一个极速的asyncio服务器
实现一个基于ASGI（异步服务器网关接口）的最小应用程序接口。
目前支持http, websockets, Pub/Sub 广播，并且可以扩展到其他协议和消息类型。
安装使用
uvicorn 仅支持python 3.5.3以上版本，我们可以通过pip3来快速的安装。
压缩数据包
将文本文件压缩成gz压缩包
cat hello.txt | gzip > data.gz
客户端请求
import requests resp = requests.get('http://127.0.0.1:8000/').text print(resp)
不带resp.headers['Content-Encoding'] = 'gzip'时运行后乱码
带resp.headers['Content-Encoding'] = 'gzip' 时返回解析压缩包后的数据
使用压缩数据包原理
文本内容为192个1。相当于把192个字符压缩成了5个字符，压缩率高达97.4%。
可以把一个1GB的文件压缩成1MB，那么对服务器来说，仅仅是返回了1MB的二进制数据，不会造成任何影响。但是对客户端或者爬虫来说，它拿到这个1MB的数据以后，就会在内存中把它还原成1GB的内容。这样一瞬间爬虫占用的内存就增大了1GB。如果我们再进一步增大这个原始数据，那么很容易就可以把爬虫所在的服务器内存全部沾满，轻者服务器直接杀死爬虫进程，重则爬虫服务器直接死机。
mac命令
dd if=/dev/zero bs=1048576 count=1000 | gzip > boom.gz
执行完后生成的文件只有995K,
linux命令
# dd: 是一个命令行工具，用于转换和复制文件。这里用来生成一个特定大小的文件。 # if=/dev/zero: 指定输入文件（if代表input file）。/dev/zero是一个特殊的文件，读取会产生无限的零（\0字符）。 # bs=1048576: bs代表“block size”，即每个块的大小。1048576字节等于1MB。这意味着dd命令在每次读写操作中处理1MB的数据。 # count=1000: 这指定dd命令需要复制的块数。因为每个块是1MB，count=1000意味着总共复制1000MB，即1GB的数据。 # | gzip: 这个部分使用管道（|）将dd命令的输出直接传递给gzip命令，后者是一个压缩工具。这意味着生成的1GB数据会被gzip压缩。 # > boom.gz: 最后，>将压缩后的数据重定向到一个名为boom.gz的文件中。如果文件已经存在，它会被覆盖；如果不存在，则会被创建。 dd if=/dev/zero bs=1M count=1000 | gzip > boom.gz
把数据包换成boom.gz
import requests import sys resp = requests.get('http://127.0.0.1:8000/').text print(sys.getsizeof(resp)/1024/1024+"GB")
请求期间可以看到内存在持续的增加
浏览器直接请求http://127.0.0.1:8000/
这样在确定爬虫IP的时候拦截请求把请求重定向到这个地址即可.
