Python|MitmProxy代理抓包工具实践难点

简介: Python|MitmProxy代理抓包工具实践难点

前言

最近小编利用MitmProxy代理抓包所遇到了一些实践难点,因为看过一些介绍MitmProxy代理抓包的博客,故如何安装MitmProxy的步骤不做介绍,我只将自己遇到的实践问题介绍并解决,希望对读者有所帮助。

(本篇博客基于

https://blog.csdn.net/fei347795790/article/details/107284720/该博客的实践所遇问题的解决方案。)


所遇实践问题

获取手机端证书

我所读的一篇博客的介绍方法:将手机端的代理ip设置和pcip地址一致,代理端口号设置为:8080;然后手机端浏览器访问mitm.im进行下载证书。照此方法不过我的手机(小米手机)并不会出现证书下载界面,而会出现另一个界面;

再参考了另外几篇博客后,我选择了一种解决方案。

解决方案:找到你所下载好的MitmProxy安装文件(如下图),然后双击mitmproxy-ca.p12文件进行pc端证书导入,其中涉及到几处导入选项,具体操作参考博客即可:

然后将其中的mitmproxy-ca-cert.pem文件发送到手机,小米手机一般不能直接识别pem文件(本人小米手机);此时我们打开:设置-WLAN-高级设置-安装证书-找到接收的mitmproxy-ca-cert.pem文件;证书名称为mitmproxy即可。

此时我们就将pc以及手机端的证书安装问题解决完毕了。


原文的代码运行逻辑顺序问题

说实话,我读完原文可能不是很能理解原文的代码逻辑顺序,其实有些代码是不必要的代码,可能有些混淆;

我们需要的py代码分别是原文的:

main.py ; read_cookie.py;write_cookie.py;wxCrawler.py  

总结后的原文的逻辑顺序:以main.py为脚本启动代码,去启动read_cookie.py,而read_cookie.py中以os模块的system去启动cmd命令,然后cmdmitmproxy启动write_cookie.py脚本获取数据,然后将数据保存到所创建的cookie.text文件中;然后再main.py继续执行启动wxCrawler.py脚本代码,wxCrawler.py脚本代码主要是去爬取微信公众号的文章列表,并打印。


写入str_to_dict()函数方法

在原博客的代码中有一个get_params方法,其中的str_to_dict()函数方法需要手动写入,但原文描述有点不清楚;将str数据类型转换为dict类型,否则会出现utilsstr_to_dict()方法报错。

操作方法:在pycharm操作上,我们只需按住ctrl键,然后用鼠标左键点击utils模块即可写入函数方法;

写入的函数方法:


原博客中的格式

原博客中的空格以及一些符号存在不规范以及运行代码的格式不对,以及爬取链接等链接格式均存在大大小小的错误;修改后的原文代码:


运行

我们只需要打开公众号,随便点击一个文章刷新即可抓取公众号文章。

运行结果图:


总结

本文主要是以mitmproxy工具代理抓包所遇的实践难点所总结的一篇解决方案的博客,以及原博客中的一些描述不清楚的地方的一些解析,及问题的解决,希望对读者有所帮助。

目录
相关文章
|
8月前
|
存储 数据采集 监控
Python定时爬取新闻网站头条:从零到一的自动化实践
在信息爆炸时代,本文教你用Python定时爬取腾讯新闻头条,实现自动化监控。涵盖请求、解析、存储、去重、代理及异常通知,助你构建高效新闻采集系统,适用于金融、电商、媒体等场景。(238字)
1325 2
|
9月前
|
机器学习/深度学习 编解码 Python
Python图片上采样工具 - RealESRGANer
Real-ESRGAN基于深度学习实现图像超分辨率放大,有效改善传统PIL缩放的模糊问题。支持多种模型版本,推荐使用魔搭社区提供的预训练模型,适用于将小图高质量放大至大图,放大倍率越低效果越佳。
691 3
机器学习/深度学习 算法 自动驾驶
1407 0
|
9月前
|
算法 安全 数据安全/隐私保护
Python随机数函数全解析:5个核心工具的实战指南
Python的random模块不仅包含基础的随机数生成函数,还提供了如randint()、choice()、shuffle()和sample()等实用工具,适用于游戏开发、密码学、统计模拟等多个领域。本文深入解析这些函数的用法、底层原理及最佳实践,帮助开发者高效利用随机数,提升代码质量与安全性。
1252 0
|
9月前
|
存储 人工智能 算法
Python实现简易成语接龙小游戏:从零开始的趣味编程实践
本项目将中国传统文化与编程思维相结合,通过Python实现成语接龙游戏,涵盖数据结构、算法设计与简单AI逻辑,帮助学习者在趣味实践中掌握编程技能。
697 0
|
9月前
|
存储 缓存 测试技术
理解Python装饰器:简化代码的强大工具
理解Python装饰器:简化代码的强大工具
|
9月前
|
大数据 数据处理 数据安全/隐私保护
Python3 迭代器与生成器详解:从入门到实践
简介:本文深入解析Python中处理数据序列的利器——迭代器与生成器。通过通俗语言与实战案例,讲解其核心原理、自定义实现及大数据处理中的高效应用。
443 0
|
10月前
|
数据采集 Web App开发 JSON
Python爬虫基本原理与HTTP协议详解:从入门到实践
本文介绍了Python爬虫的核心知识,涵盖HTTP协议基础、请求与响应流程、常用库(如requests、BeautifulSoup)、反爬应对策略及实战案例(如爬取豆瓣电影Top250),帮助读者系统掌握数据采集技能。
773 0
|
10月前
|
程序员 测试技术 开发者
Python装饰器:简化代码的强大工具
Python装饰器:简化代码的强大工具
315 92
|
10月前
|
数据处理 开发工具 开发者
requirement.txt 管理python包依赖
在 Python 项目中,`requirements.txt` 用于记录依赖库及其版本,便于环境复现。本文介绍了多种生成该文件的方法:基础方法使用 `pip freeze`,进阶方法使用 `pipreqs`,专业方法使用 `poetry` 或 `pipenv`,以及手动维护方式。每种方法适用不同场景,涵盖从简单导出到复杂依赖管理,并提供常见问题的解决方案,帮助开发者高效生成精准的依赖列表,确保项目环境一致性。
2956 4

推荐镜像

更多