Python爬虫入门教程 47-100 mitmproxy安装与安卓模拟器的配合使用-手机APP爬虫部分-阿里云开发者社区

开发者社区> 梦想橡皮擦> 正文

Python爬虫入门教程 47-100 mitmproxy安装与安卓模拟器的配合使用-手机APP爬虫部分

简介: 1. 准备下载软件 介绍一款爬虫辅助工具mitmproxy ,mitmproxy 就是用于MITM的proxy,MITM中间人攻击。说白了就是服务器和客户机中间通讯多增加了一层。跟Fiddler和Charles最大的不同就是,mitmproxy可以进行二次开发,尤其可以对接python。
+关注继续查看

1. 准备下载软件

介绍一款爬虫辅助工具mitmproxy ,mitmproxy 就是用于MITM的proxy,MITM中间人攻击。说白了就是服务器和客户机中间通讯多增加了一层。跟Fiddler和Charles最大的不同就是,mitmproxy可以进行二次开发,尤其可以对接python。

mitmproxy一般用于开发或者测试,用在爬虫辅助也是极好的。

1.1 几个重要地址

github地址:https://github.com/mitmproxy/mitmproxy
官网地址:https://mitmproxy.org/

1.2 安装流程

进入CMD窗口,执行


pip install mitmproxy 

安装完成后,系统将拥有 mitmproxymitmdumpmitmweb 三个命令,由于 mitmproxy 命令不支持在 windows 系统中运行。

mitmproxy是一个支持HTTP和HTTPS的抓包程序,有类似Fiddler、Charles的功能。除了命令行形式的控制台,mitmproxy还有两个关联组件:mitmdump和mitmweb。
    
mitmdump:它是mitmproxy的命令行接口,利用它我们可以对接Python脚本,用Python实现监听后的处理。
    
mitmweb:它是一个Web程序,通过它我们可以清楚观察mitmproxy捕获的请求。

我们可以拿 mitmdump 测试一下安装是否成功,执行:

mitmdump --version

执行结果
image

1.3 启动mitmweb

控制台运行

mitmweb

输出


λ mitmweb
Web server listening at http://127.0.0.1:8081/
Proxy server listening at http://*:8080

同时打开你的默认浏览器
image

1.4 配置代理

操作简单,熟悉爬虫的人设置起来难度不大

将代理服务器设置为 127.0.0.1:8080即可
image

这是完毕,在随便访问一个网站,例如百度,一股似曾相识的感觉铺面而来,这就是网页版的Fiddler

image

1.5 命令行启动

接下来关闭所有 Chrome 窗口,否则命令行启动时的附加参数将失效。打开 cmd,执行:

"C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" --proxy-server=127.0.0.1:8080 --ignore-certificate-errors

前面那一长串是 Chrome 的的安装路径,应当根据系统实际情况修改,后面两参数设置了代理地址并强制忽略掉证书错误。

1.6 CA证书的安装

当我们初次运行mitmproxy或mitmdump时,

会在当前目录下生成 ~/.mitmproxy文件夹,其中该文件下包含4个文件,这就是我们要的证书了。

.mitmproxy文件夹自行搜索,我采用的是everything软件,一般在电脑上的用户目录
image

mitmproxy-ca.pem 私钥
mitmproxy-ca-cert.pem 非windows平台使用
mitmproxy-ca-cert.p12 windows上使用
mitmproxy-ca-cert.cer 与mitmproxy-ca-cert.pem相同,android上使用

windows上安装证书很简单,双击.p12结尾的证书文件即可。
安卓手机需要将对应的文件发送到手机文件,进行安装。

将mitmproxy-ca-cert.cer 放到sdcard根目录下
选择设置-安全和隐私-从存储设备安装证书

2. 使用mitmdump

在windows平台下一般使用mitmdump
控制台运行 mitmdump,出现如下结果

λ mitmdump
Proxy server listening at http://*:8080

2.1 获取本地IP地址 ipconfig

打开模拟器,跟fiddler和Charles的配置其实是非常类似的

基本步骤

1.电脑和手机连接到同一个wifi环境下
2.修改浏览器代理服务器地址为运行mitmdump的那台机器(本机)ip地址,端口设定为你启动mitmdump时设定的端口,如果没有指定就使用8080
3.手机做同样操作,修改wifi链接代理为 【手动】,然后指定ip地址和端口

在手机或pc机上打开浏览器访问 mitm.it 这个地址,选择你当前平台的图标,点击安装证书。
image

image

所有这一切操作完毕,打开模拟器的默认浏览器,输入www.baidu.com,等待数据的抓取
image

3. mitmproxy安装与模拟器配合操作完毕

当你看到数据抓取到的那一刻,表示本篇博客结束啦,下一篇,我们就实际的对接一下Python,感谢你的阅读。

image

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
分享录制的正则表达式入门、高阶以及使用 .NET 实现网络爬虫视频教程
我发布的「正则表达式入门以及高阶教程」,欢迎学习。 课程简介 正则表达式是软件开发必须掌握的一门语言,掌握后才能很好地理解到它的威力; 课程采用概念和实验操作 4/6 分隔,帮助大家理解概念后再使用大量的实例加深对概念的理解; 实例操作是对概念最好的理解,也是学习新语言最有效的办法; 在课程中也穿插着大量软件开发的技巧和大家分享; 应该是把晦涩的正则表达式讲解的最生动的课程; 掌握了正则表达式后,您一定会觉得这是一门最值得掌握的语言。
886 0
Android模拟器环境中安装和删除应用程序
1. 安装Android应用程序 1) 启动Android模拟器 2) adb install (apk在PC上的路径/)*.apk (将apk文件上传到了模拟器自带操作系统的data/app目录下了) 3) Android模拟器界面中浏览打开apk应用程序   2. 删除Android应用程序 删除 Android有好几种方法。
848 0
linux 内存文件系统使用 - tmpfs, ramfs, shmfs
linux 内存文件系统使用 - tmpfs, ramfs, shmfs
824 0
my.httpReqeust安卓出现Alipay-Mobile-Proxy-Server(502_BAD_GATEWAY)的解决方案
报错原因: 出现Alipay-Mobile-Proxy-Server(502_BAD_GATEWAY)是因为目前 Android设备有安全代理,不允许请求非公网地址,如局域网 解决方案: 请使用公网请求地址。
504 0
Linux内核分析(一)---linux体系简介|内核源码简介|内核配置编译安装
原文:Linux内核分析(一)---linux体系简介|内核源码简介|内核配置编译安装 Linux内核分析(一) 从本篇博文开始我将对linux内核进行学习和分析,整个过程必将十分艰辛,但我会坚持到底,同时在博文中如果那些地方有问题还请各位大神为我讲解。
1261 0
9、web爬虫讲解2—urllib库爬虫—实战爬取搜狗微信公众号—抓包软件安装Fiddler4讲解
封装模块 #!/usr/bin/env python # -*- coding: utf-8 -*- import urllib from urllib import request import json import random import re import urllib.
2521 0
ZooKeeper分布式入门实战(一)-基本安装配置等
1.1 zookeeper 简介 中间件,提供协调服务 作用于分布式系统,发挥其优势,可以为大数据服务 支持 Java, 提供 Java 和 C语言的客户端 API 1.
1060 0
如何在一台设备上安装不同版本的安卓应用
第一步: 1. Create the variant dependent strings in your build script Edit your build.gradle file accordingly:   //This line allows parameterizatio...
691 0
+关注
梦想橡皮擦
专栏100例写作模式先行者
62
文章
1
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载