教你用 Python 操控你的上网请求

简介: 教你用 Python 操控你的上网请求

今天给大家介绍个有意思的工具,不知道你有没有听说过中间人攻击(Man-in-the-middle attack)简称 MITM,是一种“间接”的入侵攻击,这种攻击模式是通过各种技术手段将受入侵者控制的一台计算机虚拟放置在网络连接中的两台通信计算机之间,这台计算机就称为“中间人”,看下这张图可能更容易理解。


image.png


mitmproxy、


好了,下面就开始我们介绍我们今天的主角 mitmproxy ,它和其他抓包工具相比,不仅可以截获请求帮助开发者查看、分析,更可以通过 Python 自定义脚本进行二次开发。而且由于 mitmproxy 工作在 HTTP 层,而且现在客户端拥有了检测并规避中间人攻击的能力,所以并不会真的对无辜的人发起中间人攻击,只能用来做开发或测试。好了,接下来我们就开始一起看他到底有什么本事。


安装


安装还是很简单的,只需要用 pip 直接自动安装就可以了,执行以下安装命令:


$ pip3 install mitmproxy


如果没有提示出错,就算是安装成功了。然后我们在分别运行以下三个命令,可以展示出相应的版本信息。


$ mitmproxy --versionMitmproxy: 5.0.1Python:    3.7.4OpenSSL:   OpenSSL 1.1.0j  20 Nov 2018Platform:  Darwin-16.7.0-x86_64-i386-64bit
$ mitmdump --versionMitmproxy: 5.0.1Python:    3.7.4OpenSSL:   OpenSSL 1.1.0j  20 Nov 2018Platform:  Darwin-16.7.0-x86_64-i386-64bit
$ mitmweb --versionMitmproxy: 5.0.1Python:    3.7.4OpenSSL:   OpenSSL 1.1.0j  20 Nov 2018Platform:  Darwin-16.7.0-x86_64-i386-64bit


mitmproxy、mitmdump、mitmweb 区别


其实 mitmproxy、mitmdump、mitmweb 这三个功能本质是一样的,区别主要是它们的交互的方式不同。


  • mitmproxy:主要是以控制台的方式交互
  • mitmdump:主要是以命令行的方式交互
  • mitmweb:主要以 web 的形式进行交互


在这里可以看出,以 web 方式交互对我们来说应该是最简单的,接下来就以 mitmweb 为基础介绍它的功能。


启动 mitmweb


直接执行命令 mitmweb 就可以启动,启动以后的效果如下,服务会监听本机 8080 端口,并且通过 8081端口可以访问 web 控制台:


$ mitmwebWeb server listening at http://127.0.0.1:8081/Proxy server listening at http://*:8080


我们在浏览器地址输入:127.0.0.1:8081,回车后返回如下页面:


image.png


配置浏览器代理

服务启动完成,现在就需要配置浏览器通过本地服务 8080 端口来联网,从而使 mitm 达到做为“中间人”的目的。由于只是测试一下,所以可以使用命令行启动浏览器,这里我用的 Google Chrome,其他浏览器也差别不大,输入以下命令即可:

Linux:

google-chrome --proxy-server=127.0.0.1:8080 --ignore-certificate-errors

Windows:

D:/google-chrome.exe --proxy-server=127.0.0.1:8080 --ignore-certificate-errors

MacOS:

open -a /Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome --args  -proxy-server=127.0.0.1:8080 -ignore-certificate-errors

浏览器启动完成后,会有一个安全提示,如下图所示:


image.png


mitmproxy 的使用

下面我们以访问百度首页为例看下 mitmproxy 在中间是如何修改数据的。首先我们在 mitmweb 页面配置下只拦截 baidu 相关的请求,如下图所示:


image.png


现在我们通过浏览器再请求一下百度,这时我们再看下 mitmweb 页面会出现黄色的请求提示,表明我们的请求已经被 mitmproxy 拦截,然后我们就可以通过点击图中靠右边的小铅笔图标,就可以修改我们拦截的请求信息了,请看下图:


image.png


当修改完需要把拦截的请求放行,则需要单击工具栏中 Resume (绿色图标)按钮即可。请求信息发出去后,我们很快就会收到服务器返回的信息,返回的信息也一样会被 mitmproxy 拦截,并且我们也可以对返回的信息进行修改,返回信息如下图,多了个 Response 标签页面:


image.png


然后我们再单击 Resume 按钮,将返回信息放行,就会在浏览器看到如下图的效果:


image.png


好了,以上我们只是手动简单操作了下,主要是可以让大家明白它的原理,接下来我们就来演示,通过 Python 脚本来自动完成数据的操作。


Python 脚本示例


接下来我们通过 Python 写一段脚本,实现在你用百度搜索任意内容时,都把你搜索的内容改为“建议使用Google搜索”,并且把请求返回内容里面,所有“百度”的字串都自动替换为“谷歌”,这个小脚本让我们同时实现了修改请求和返回内容,现在就上代码:




# baidu.py
# 引入对应模块import mitmproxy.httpfrom mitmproxy import ctx, http
class Baidu:    # 请求时需要处理    def request(self, flow: mitmproxy.http.HTTPFlow):        if flow.request.host != "www.baidu.com" or not flow.request.path.startswith("/s"):            return
        if "wd" not in flow.request.query.keys():            ctx.log.warn("can not get search word from %s" % flow.request.pretty_url)            return
        # 打印日志        ctx.log.info("正在搜索: %s" % flow.request.query.get("wd"))
        # 替换搜索关键词        flow.request.query.set_all("wd", ["建议使用Google搜索"])
    # 请求返回时需要处理    def response(self, flow: mitmproxy.http.HTTPFlow):        # 获取请求返回的文本并替换        text = flow.response.get_text()        text = text.replace("百度", "谷歌")        flow.response.set_text(text)
# 增加插件addons = [    Baidu()]


写好代码保存,接下来我们重新启动 mitmweb,这次命令后需要加上参数使 Python 脚本生效,在命令行输入:mitmweb -s baidu.py,启动完成后我们回到浏览器打开百度随便输入个内容进行搜索,你会看到效果如下图所示:


image.png


image.png


可以看到上面我们随便个词点搜索,返回的结果都是“建议使用Google搜索”,并且右上角“百度”也都被替换为了“谷歌”。


总结


本文为大家介绍了 mitmproxy 工具的安装以及如何使用,并写了一段小脚本简单实现了用它如何修改拦截的请求和返回的内容。当然它的功能不止这么简单,有了它我们可以做很多事情,有兴趣的话后续再为大家介绍。


目录
相关文章
|
2天前
|
存储 应用服务中间件 开发工具
对象存储OSS-Python设置代理访问请求
通过 Python SDK 配置 nginx 代理地址请求阿里云 OSS 存储桶服务。示例代码展示了如何使用 RAM 账号进行身份验证,并通过代理下载指定对象到本地文件。
36 15
|
5月前
|
JSON API 开发者
Python网络编程新纪元:urllib与requests库,让你的HTTP请求无所不能
【7月更文挑战第31天】互联网的发展使网络编程成为软件开发的关键部分. Python以简洁、功能强大著称, 在此领域尤显突出. `urllib`作为标准库, 自Python初期便支持URL处理, 如读取URL (`urllib.request`) 和解析 (`urllib.parse`). 尽管API底层, 但奠定了网络编程基础.
67 4
|
18天前
|
数据采集 JSON 测试技术
Grequests,非常 Nice 的 Python 异步 HTTP 请求神器
在Python开发中,处理HTTP请求至关重要。`grequests`库基于`requests`,支持异步请求,通过`gevent`实现并发,提高性能。本文介绍了`grequests`的安装、基本与高级功能,如GET/POST请求、并发控制等,并探讨其在实际项目中的应用。
27 3
|
2月前
|
数据采集 前端开发 算法
Python Requests 的高级使用技巧:应对复杂 HTTP 请求场景
本文介绍了如何使用 Python 的 `requests` 库应对复杂的 HTTP 请求场景,包括 Spider Trap(蜘蛛陷阱)、SESSION 访问限制和请求频率限制。通过代理、CSS 类链接数控制、多账号切换和限流算法等技术手段,提高爬虫的稳定性和效率,增强在反爬虫环境中的生存能力。文中提供了详细的代码示例,帮助读者掌握这些高级用法。
114 1
Python Requests 的高级使用技巧:应对复杂 HTTP 请求场景
|
1月前
|
JSON API 数据格式
Python中获取HTTP请求响应体的详解
本文介绍了如何使用Python的`requests`和`urllib`库发送HTTP请求并处理响应体。`requests`库简化了HTTP请求过程,适合快速开发;`urllib`库则更为底层,适用于性能要求较高的场景。文章详细演示了发送GET请求、处理JSON响应等常见操作。
46 3
|
2月前
|
Python Windows
利用Python在Win10环境下实现拨号上网
利用Python在Win10环境下实现拨号上网
44 4
|
2月前
|
JSON 缓存 API
在 Python 中使用公共类处理接口请求的响应结果
在 Python 中使用公共类处理接口请求的响应结果
37 1
|
3月前
|
JSON API 数据格式
使用Python发送包含复杂JSON结构的POST请求
使用Python发送包含复杂JSON结构的POST请求
|
3月前
|
Python Windows
利用Python在Win10环境下实现拨号上网
利用Python在Win10环境下实现拨号上网
67 2
|
3月前
|
JSON API 开发者
Python网络编程新纪元:urllib与requests库,让你的HTTP请求无所不能
【9月更文挑战第9天】随着互联网的发展,网络编程成为现代软件开发的关键部分。Python凭借简洁、易读及强大的特性,在该领域展现出独特魅力。本文介绍了Python标准库中的`urllib`和第三方库`requests`在处理HTTP请求方面的优势。`urllib`虽API底层但功能全面,适用于深入控制HTTP请求;而`requests`则以简洁的API和人性化设计著称,使HTTP请求变得简单高效。两者互补共存,共同推动Python网络编程进入全新纪元,无论初学者还是资深开发者都能从中受益。
54 7
下一篇
DataWorks