Python实现反爬虫

简介: Python实现反爬虫

环境

Python3.12

安装fastapi

pip install "fastapi[all]"

代码

from fastapi import FastAPI, Response
from fastapi.responses import FileResponse
app = FastAPI()
@app.get('/')
def index():
    resp = FileResponse('data.gz')
    resp.headers['Content-Encoding'] = 'gzip'  # 说明这是gzip压缩的数据,否则请求时是乱码
    return resp

VSCode选择编译器环境

Cmd+Shift+P选择 Python : Select Interpreter

运行服务

uvicorn server:app

Uvicorn 简介

uvicorn是一个基于asyncio开发的一个轻量级高效的web服务器框架

uvicorn 设计的初衷是想要实现两个目标:

使用uvloop和httptools 实现一个极速的asyncio服务器

实现一个基于ASGI(异步服务器网关接口)的最小应用程序接口。

目前支持http, websockets, Pub/Sub 广播,并且可以扩展到其他协议和消息类型。

安装使用

uvicorn 仅支持python 3.5.3以上版本,我们可以通过pip3来快速的安装。

压缩数据包

将文本文件压缩成gz压缩包

cat hello.txt | gzip > data.gz

客户端请求

import requests
resp = requests.get('http://127.0.0.1:8000/').text
print(resp)

不带resp.headers['Content-Encoding'] = 'gzip'时运行后乱码

带resp.headers['Content-Encoding'] = 'gzip' 时返回解析压缩包后的数据

使用压缩数据包原理

文本内容为192个1。相当于把192个字符压缩成了5个字符,压缩率高达97.4%。

可以把一个1GB的文件压缩成1MB,那么对服务器来说,仅仅是返回了1MB的二进制数据,不会造成任何影响。但是对客户端或者爬虫来说,它拿到这个1MB的数据以后,就会在内存中把它还原成1GB的内容。这样一瞬间爬虫占用的内存就增大了1GB。如果我们再进一步增大这个原始数据,那么很容易就可以把爬虫所在的服务器内存全部沾满,轻者服务器直接杀死爬虫进程,重则爬虫服务器直接死机。

mac命令

dd if=/dev/zero bs=1048576 count=1000 | gzip > boom.gz

执行完后生成的文件只有995K,

linux命令

# dd: 是一个命令行工具,用于转换和复制文件。这里用来生成一个特定大小的文件。
# if=/dev/zero: 指定输入文件(if代表input file)。/dev/zero是一个特殊的文件,读取会产生无限的零(\0字符)。
# bs=1048576: bs代表“block size”,即每个块的大小。1048576字节等于1MB。这意味着dd命令在每次读写操作中处理1MB的数据。
# count=1000: 这指定dd命令需要复制的块数。因为每个块是1MB,count=1000意味着总共复制1000MB,即1GB的数据。
# | gzip: 这个部分使用管道(|)将dd命令的输出直接传递给gzip命令,后者是一个压缩工具。这意味着生成的1GB数据会被gzip压缩。
# > boom.gz: 最后,>将压缩后的数据重定向到一个名为boom.gz的文件中。如果文件已经存在,它会被覆盖;如果不存在,则会被创建。
dd if=/dev/zero bs=1M count=1000 | gzip > boom.gz

把数据包换成boom.gz

import requests
import sys
resp = requests.get('http://127.0.0.1:8000/').text
print(sys.getsizeof(resp)/1024/1024+"GB")

请求期间可以看到内存在持续的增加

浏览器直接请求http://127.0.0.1:8000/

这样在确定爬虫IP的时候拦截请求把请求重定向到这个地址即可.

来源: https://mp.weixin.qq.com/s?__biz=MzIxODg1OTk1MA==&mid=2247532470&idx=2&sn=fa2ffd45539f406af5db1aed7bbfc4ad&chksm=968d5f85be7938d054924240570270804ad5dd1ce6f6d36304f731679e5175d56a0e55b5a616&scene=132&exptype=timeline_recommend_article_extendread_samebiz&show_related_article=1&subscene=21&scene=132#wechat_redirect

相关文章
|
2月前
|
数据采集 存储 XML
Python爬虫:深入探索1688关键词接口获取之道
在数字化经济中,数据尤其在电商领域的价值日益凸显。1688作为中国领先的B2B平台,其关键词接口对商家至关重要。本文介绍如何通过Python爬虫技术,合法合规地获取1688关键词接口,助力商家洞察市场趋势,优化营销策略。
|
3月前
|
数据采集 Web App开发 监控
高效爬取B站评论:Python爬虫的最佳实践
高效爬取B站评论:Python爬虫的最佳实践
|
3月前
|
数据采集 缓存 定位技术
网络延迟对Python爬虫速度的影响分析
网络延迟对Python爬虫速度的影响分析
|
2天前
|
存储 数据采集 数据库
Python爬虫实战:股票分时数据抓取与存储
Python爬虫实战:股票分时数据抓取与存储
|
28天前
|
数据采集 JSON 数据格式
Python爬虫:京东商品评论内容
京东商品评论接口为商家和消费者提供了重要工具。商家可分析评论优化产品,消费者则依赖评论做出购买决策。该接口通过HTTP请求获取评论内容、时间、点赞数等数据,支持分页和筛选好评、中评、差评。Python示例代码展示了如何调用接口并处理返回的JSON数据。应用场景包括产品优化、消费者决策辅助、市场竞争分析及舆情监测。
|
1月前
|
数据采集 供应链 API
Python爬虫与1688图片搜索API接口:深度解析与显著收益
在电子商务领域,数据是驱动业务决策的核心。阿里巴巴旗下的1688平台作为全球领先的B2B市场,提供了丰富的API接口,特别是图片搜索API(`item_search_img`),允许开发者通过上传图片搜索相似商品。本文介绍如何结合Python爬虫技术高效利用该接口,提升搜索效率和用户体验,助力企业实现自动化商品搜索、库存管理优化、竞品监控与定价策略调整等,显著提高运营效率和市场竞争力。
83 3
|
2月前
|
数据采集 存储 缓存
如何使用缓存技术提升Python爬虫效率
如何使用缓存技术提升Python爬虫效率
|
2月前
|
数据采集 Web App开发 监控
Python爬虫:爱奇艺榜单数据的实时监控
Python爬虫:爱奇艺榜单数据的实时监控
|
2月前
|
数据采集 JSON API
如何利用Python爬虫淘宝商品详情高级版(item_get_pro)API接口及返回值解析说明
本文介绍了如何利用Python爬虫技术调用淘宝商品详情高级版API接口(item_get_pro),获取商品的详细信息,包括标题、价格、销量等。文章涵盖了环境准备、API权限申请、请求构建和返回值解析等内容,强调了数据获取的合规性和安全性。
|
2月前
|
数据采集 存储 API
利用Python爬虫获取1688关键词接口全攻略
本文介绍如何使用Python爬虫技术合法合规地获取1688关键词接口数据,包括环境准备、注册1688开发者账号、获取Access Token、构建请求URL、发送API请求、解析HTML及数据处理存储等步骤,强调遵守法律法规和合理使用爬虫技术的重要性。

热门文章

最新文章