教你用 Python 操控你的上网请求

简介: 教你用 Python 操控你的上网请求

今天给大家介绍个有意思的工具,不知道你有没有听说过中间人攻击(Man-in-the-middle attack)简称 MITM,是一种“间接”的入侵攻击,这种攻击模式是通过各种技术手段将受入侵者控制的一台计算机虚拟放置在网络连接中的两台通信计算机之间,这台计算机就称为“中间人”,看下这张图可能更容易理解。


image.png


mitmproxy、


好了,下面就开始我们介绍我们今天的主角 mitmproxy ,它和其他抓包工具相比,不仅可以截获请求帮助开发者查看、分析,更可以通过 Python 自定义脚本进行二次开发。而且由于 mitmproxy 工作在 HTTP 层,而且现在客户端拥有了检测并规避中间人攻击的能力,所以并不会真的对无辜的人发起中间人攻击,只能用来做开发或测试。好了,接下来我们就开始一起看他到底有什么本事。


安装


安装还是很简单的,只需要用 pip 直接自动安装就可以了,执行以下安装命令:


$ pip3 install mitmproxy


如果没有提示出错,就算是安装成功了。然后我们在分别运行以下三个命令,可以展示出相应的版本信息。


$ mitmproxy --versionMitmproxy: 5.0.1Python:    3.7.4OpenSSL:   OpenSSL 1.1.0j  20 Nov 2018Platform:  Darwin-16.7.0-x86_64-i386-64bit
$ mitmdump --versionMitmproxy: 5.0.1Python:    3.7.4OpenSSL:   OpenSSL 1.1.0j  20 Nov 2018Platform:  Darwin-16.7.0-x86_64-i386-64bit
$ mitmweb --versionMitmproxy: 5.0.1Python:    3.7.4OpenSSL:   OpenSSL 1.1.0j  20 Nov 2018Platform:  Darwin-16.7.0-x86_64-i386-64bit


mitmproxy、mitmdump、mitmweb 区别


其实 mitmproxy、mitmdump、mitmweb 这三个功能本质是一样的,区别主要是它们的交互的方式不同。


  • mitmproxy:主要是以控制台的方式交互
  • mitmdump:主要是以命令行的方式交互
  • mitmweb:主要以 web 的形式进行交互


在这里可以看出,以 web 方式交互对我们来说应该是最简单的,接下来就以 mitmweb 为基础介绍它的功能。


启动 mitmweb


直接执行命令 mitmweb 就可以启动,启动以后的效果如下,服务会监听本机 8080 端口,并且通过 8081端口可以访问 web 控制台:


$ mitmwebWeb server listening at http://127.0.0.1:8081/Proxy server listening at http://*:8080


我们在浏览器地址输入:127.0.0.1:8081,回车后返回如下页面:


image.png


配置浏览器代理

服务启动完成,现在就需要配置浏览器通过本地服务 8080 端口来联网,从而使 mitm 达到做为“中间人”的目的。由于只是测试一下,所以可以使用命令行启动浏览器,这里我用的 Google Chrome,其他浏览器也差别不大,输入以下命令即可:

Linux:

google-chrome --proxy-server=127.0.0.1:8080 --ignore-certificate-errors

Windows:

D:/google-chrome.exe --proxy-server=127.0.0.1:8080 --ignore-certificate-errors

MacOS:

open -a /Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome --args  -proxy-server=127.0.0.1:8080 -ignore-certificate-errors

浏览器启动完成后,会有一个安全提示,如下图所示:


image.png


mitmproxy 的使用

下面我们以访问百度首页为例看下 mitmproxy 在中间是如何修改数据的。首先我们在 mitmweb 页面配置下只拦截 baidu 相关的请求,如下图所示:


image.png


现在我们通过浏览器再请求一下百度,这时我们再看下 mitmweb 页面会出现黄色的请求提示,表明我们的请求已经被 mitmproxy 拦截,然后我们就可以通过点击图中靠右边的小铅笔图标,就可以修改我们拦截的请求信息了,请看下图:


image.png


当修改完需要把拦截的请求放行,则需要单击工具栏中 Resume (绿色图标)按钮即可。请求信息发出去后,我们很快就会收到服务器返回的信息,返回的信息也一样会被 mitmproxy 拦截,并且我们也可以对返回的信息进行修改,返回信息如下图,多了个 Response 标签页面:


image.png


然后我们再单击 Resume 按钮,将返回信息放行,就会在浏览器看到如下图的效果:


image.png


好了,以上我们只是手动简单操作了下,主要是可以让大家明白它的原理,接下来我们就来演示,通过 Python 脚本来自动完成数据的操作。


Python 脚本示例


接下来我们通过 Python 写一段脚本,实现在你用百度搜索任意内容时,都把你搜索的内容改为“建议使用Google搜索”,并且把请求返回内容里面,所有“百度”的字串都自动替换为“谷歌”,这个小脚本让我们同时实现了修改请求和返回内容,现在就上代码:




# baidu.py
# 引入对应模块import mitmproxy.httpfrom mitmproxy import ctx, http
class Baidu:    # 请求时需要处理    def request(self, flow: mitmproxy.http.HTTPFlow):        if flow.request.host != "www.baidu.com" or not flow.request.path.startswith("/s"):            return
        if "wd" not in flow.request.query.keys():            ctx.log.warn("can not get search word from %s" % flow.request.pretty_url)            return
        # 打印日志        ctx.log.info("正在搜索: %s" % flow.request.query.get("wd"))
        # 替换搜索关键词        flow.request.query.set_all("wd", ["建议使用Google搜索"])
    # 请求返回时需要处理    def response(self, flow: mitmproxy.http.HTTPFlow):        # 获取请求返回的文本并替换        text = flow.response.get_text()        text = text.replace("百度", "谷歌")        flow.response.set_text(text)
# 增加插件addons = [    Baidu()]


写好代码保存,接下来我们重新启动 mitmweb,这次命令后需要加上参数使 Python 脚本生效,在命令行输入:mitmweb -s baidu.py,启动完成后我们回到浏览器打开百度随便输入个内容进行搜索,你会看到效果如下图所示:


image.png


image.png


可以看到上面我们随便个词点搜索,返回的结果都是“建议使用Google搜索”,并且右上角“百度”也都被替换为了“谷歌”。


总结


本文为大家介绍了 mitmproxy 工具的安装以及如何使用,并写了一段小脚本简单实现了用它如何修改拦截的请求和返回的内容。当然它的功能不止这么简单,有了它我们可以做很多事情,有兴趣的话后续再为大家介绍。


目录
相关文章
|
数据采集 存储 开发者
如何动态调整Python爬虫的Request请求延迟
如何动态调整Python爬虫的Request请求延迟
538 13
|
XML JSON API
淘宝商品详情API的调用流程(python请求示例以及json数据示例返回参考)
JSON数据示例:需要提供一个结构化的示例,展示商品详情可能包含的字段,如商品标题、价格、库存、描述、图片链接、卖家信息等。考虑到稳定性,示例应基于淘宝开放平台的标准响应格式。
|
9月前
|
数据采集 Web App开发 前端开发
处理动态Token:Python爬虫应对AJAX授权请求的策略
处理动态Token:Python爬虫应对AJAX授权请求的策略
|
10月前
|
JSON JavaScript API
Python模拟HTTP请求实现APP自动签到
Python模拟HTTP请求实现APP自动签到
|
XML JSON 安全
分析参数顺序对Python requests库进行POST请求的影响。
最后,尽管理论上参数顺序对POST请求没影响,但编写代码时仍然建议遵循一定的顺序和规范,比如URL总是放在第一位,随后是data或json,最后是headers,这样可以提高代码的可读性和维护性。在处理复杂的请求时,一致的参数顺序有助于调试和团队协作。
311 9
|
数据采集 Web App开发 文字识别
Python爬虫多次请求后被要求验证码的应对策略
Python爬虫多次请求后被要求验证码的应对策略
|
JSON API 数据格式
Python 请求微店商品详情数据 API 接口
微店开放平台允许开发者通过API获取商品详情数据。使用Python请求微店商品详情API的主要步骤包括:1. 注册并申请API权限,获得app_key和app_secret;2. 确定API接口地址与请求参数,如商品ID;3. 生成签名确保请求安全合法;4. 使用requests库发送HTTP请求获取数据;5. 处理返回的JSON格式响应数据。开发时需严格遵循微店API文档要求。
|
存储 监控 算法
基于 Python 哈希表算法的员工上网管理策略研究
于当下数字化办公环境而言,员工上网管理已成为企业运营管理的关键环节。企业有必要对员工的网络访问行为予以监控,以此确保信息安全并提升工作效率。在处理员工上网管理相关数据时,适宜的数据结构与算法起着举足轻重的作用。本文将深入探究哈希表这一数据结构在员工上网管理场景中的应用,并借助 Python 代码示例展开详尽阐述。
201 3
|
存储 应用服务中间件 开发工具
对象存储OSS-Python设置代理访问请求
通过 Python SDK 配置 nginx 代理地址请求阿里云 OSS 存储桶服务。示例代码展示了如何使用 RAM 账号进行身份验证,并通过代理下载指定对象到本地文件。
722 15
|
数据采集 前端开发 算法
Python Requests 的高级使用技巧:应对复杂 HTTP 请求场景
本文介绍了如何使用 Python 的 `requests` 库应对复杂的 HTTP 请求场景,包括 Spider Trap(蜘蛛陷阱)、SESSION 访问限制和请求频率限制。通过代理、CSS 类链接数控制、多账号切换和限流算法等技术手段,提高爬虫的稳定性和效率,增强在反爬虫环境中的生存能力。文中提供了详细的代码示例,帮助读者掌握这些高级用法。
988 1
Python Requests 的高级使用技巧:应对复杂 HTTP 请求场景

推荐镜像

更多