Python实现反爬虫

pip install "fastapi[all]"

from fastapi import FastAPI, Response
from fastapi.responses import FileResponse
app = FastAPI()
@app.get('/')
def index():
    resp = FileResponse('data.gz')
    resp.headers['Content-Encoding'] = 'gzip'  # 说明这是gzip压缩的数据,否则请求时是乱码
    return resp

uvicorn server:app

cat hello.txt | gzip > data.gz

import requests
resp = requests.get('http://127.0.0.1:8000/').text
print(resp)

dd if=/dev/zero bs=1048576 count=1000 | gzip > boom.gz

# dd: 是一个命令行工具，用于转换和复制文件。这里用来生成一个特定大小的文件。
# if=/dev/zero: 指定输入文件（if代表input file）。/dev/zero是一个特殊的文件，读取会产生无限的零（\0字符）。
# bs=1048576: bs代表“block size”，即每个块的大小。1048576字节等于1MB。这意味着dd命令在每次读写操作中处理1MB的数据。
# count=1000: 这指定dd命令需要复制的块数。因为每个块是1MB，count=1000意味着总共复制1000MB，即1GB的数据。
# | gzip: 这个部分使用管道（|）将dd命令的输出直接传递给gzip命令，后者是一个压缩工具。这意味着生成的1GB数据会被gzip压缩。
# > boom.gz: 最后，>将压缩后的数据重定向到一个名为boom.gz的文件中。如果文件已经存在，它会被覆盖；如果不存在，则会被创建。
dd if=/dev/zero bs=1M count=1000 | gzip > boom.gz

import requests
import sys
resp = requests.get('http://127.0.0.1:8000/').text
print(sys.getsizeof(resp)/1024/1024+"GB")