开发者社区> 梦想橡皮擦> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Python爬虫入门教程 42-100 爬取儿歌多多APP数据-手机APP爬虫部分

简介: 1. 儿歌多多APP简单分析 今天是手机APP数据爬取的第一篇案例博客,我找到了一个儿歌多多APP,没有加固,没有加壳,没有加密参数,对新手来说,比较友好,咱就拿它练练手,熟悉一下Fiddler和夜神模拟器是如何配合着使用的。
+关注继续查看

1. 儿歌多多APP简单分析

今天是手机APP数据爬取的第一篇案例博客,我找到了一个儿歌多多APP,没有加固,没有加壳,没有加密参数,对新手来说,比较友好,咱就拿它练练手,熟悉一下Fiddler和夜神模拟器是如何配合着使用的。

儿歌多多APP在豌豆荚的下载量还是可以的,一家做内容的APP。

image

2. APP安装和使用

APP直接去下载APK包就可以了,拖拽到夜神模拟器就安装成功了。在模拟器打开出现如下界面,表示已经可以开始操作了,非常儿童的APP。

image

3. 抓包测试

打开APP同时,打开Fiddler,首先测试一下网络是否正常,用模拟器自带的浏览器去访问百度,如果可以访问表示无问题,否则重新设置代理

运行软件过程中,注意观察Fiddler,如果出现JSON类型的API[接口],就要注意了,你想要的数据就在这里

image

我们点击链接,看Fiddler右侧显示内容,主要看我标注的3处重点
image

分别是链接,请求头,响应内容

4. 提取接口链接

获取到上述地址之后,你就可以提取接口地址了,提取到的接口很长,需要我们进行关键参数的判定

http://bb.ergeduoduo.com/baby/bb.php?type=getvideos&collectid=29&interver=8&page=1&pagesize=30&grade=-1_-1&user=866174010820641&prod=childstory_ar_4.0.5.0&corp=duoduo&source=childstory_ar_4.0.5.0_m360&srcver=story&ver=1&imei=866174010820641&protect=1

经过一系列的测试,缩短链接如下

http://bb.ergeduoduo.com/baby/bb.php?type=getvideos&collectid=29&page=1&pagesize=30

关键参数

type # 获取内容类型
collectid # 分类
page = 1 # 页码
pagesize = 30 # 每页数据

5. 儿歌多多APP数据爬虫编写

关键地址拿到之后,下面的操作就是选择一个你熟悉的爬虫库去进行操作了,你可以使用scrapy,pyspider 等,也可以直接用requests直接去爬取,都是非常简单的,我就不进行爬虫部分的编写了~

6. 本篇博客重点内容

通过儿歌多多,希望你可以把Fiddler和夜神模拟器之间的配合进行抓包。工具使用熟练,只要接口被我们获取到,关键参数被我们提取到,我们就可以快速的编写爬虫去获取它内部的数据了。

在爬取的过程中,还可以直接去下载视频哦

image

image

更多内容,欢迎关注 https://dwz.cn/r4lCXEuL

.

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Python爬虫入门教程 49-100 Appium安装+操作51JOB_APP(模拟手机操作之一)手机APP爬虫
爬前准备工作 在开始安装Appium之前,你要先知道Appium是做什么的?Appium 是一个自动化测试开源工具,看到没,做测试用的,它有点类似Selenium,可以自动操作APP实现一系列的操作。
2197 0
直播APP源码的开发关键点,专业程序员娓娓道来
伴随着5G时期的来临,人工智能技术的广泛出現,直播软件的开发也有待提高,直播软件开发可能迈入新的突破口,今天专业的程序员跟大伙儿讲一下直播APP源码开发必须有什么开发关键点呢?
182 0
直播APP制作都需要了解什么
直播APP开发主要是通过音频、视频、互动的方式拉近与观众的距离,与其他APP不同的地方在于,直播APP制作需要语音和视频的支持,在互动的同时能及时接受观众的反馈。
248 0
直播APP源码再度崛起,确定不了解一下吗
受疫情的影响,我们“终于”实现了在家办公、在家上课。多亏了现在科技的发展,在疫情肆虐的当下,我们可以通过直播APP源码进行远程办公、学习,曾经作为泛娱乐行业龙头老大的直播,有一天竟然成为教育行业的主力军。
486 0
开发直播app软件之前需要补充的那些知识
对于传统的点播业务来说,目前大部分泛娱乐和游戏类的直播架构都是分为上行和下行两种网络的。而架构的设计对于开发直播app软件来说也是至关重要的一步,但是在了解架构问题之前,我们先来简单的捋一捋所谓的上行和下行到底是怎么一回事儿吧。
1008 0
开发直播APP软件一定要了解的H.264编码,即时通讯中的战斗机
开发直播APP软件一定要了解的H.264编码的相关分析
1377 0
+关注
梦想橡皮擦
专栏100例写作模式先行者
63
文章
1
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载