开发者社区> 华章计算机> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

《精通Python网络爬虫:核心技术、框架与项目实战》——2.3 用户爬虫的那些事儿

简介:
+关注继续查看

本节书摘来自华章出版社《精通Python网络爬虫:核心技术、框架与项目实战》一书中的第2章,第2.3节,作者 韦 玮,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.3 用户爬虫的那些事儿

用户爬虫是网络爬虫中的一种类型。所谓用户爬虫,指的是专门用来爬取互联网中用户数据的一种爬虫。由于互联网中的用户数据信息,相对来说是比较敏感的数据信息,所以,用户爬虫的利用价值也相对较高。

利用用户爬虫可以做大量的事情,接下来我们一起来看一下利用用户爬虫所做的一些有趣的事情吧。

2015年,有知乎网友对知乎的用户数据进行了爬取,然后进行对应的数据分析,便得到了知乎上大量的潜在数据,比如:

知乎上注册用户的男女比例:男生占例多于60%。

知乎上注册用户的地区:北京的人口占据比重最大,多于30%。

知乎上注册用户从事的行业:从事互联网行业的用户占据比重最大,同样多于30%。

除此之外,只要我们细心发掘,还可以挖掘出更多的潜在数据,而要分析这些数据,则必须要获取到这些用户数据,此时,我们可以使用网络爬虫技术轻松爬取到这些有用的用户信息。

同样,在2015年,有网友爬取了3000万QQ空间的用户信息,并同样从中获得了大量潜在数据,比如:

QQ空间用户发说说的时间规律:晚上22点左右,平均发说说的数量是一天
中最多的时候。

QQ空间用户的出生月份分布:1月份和10月份出生的用户较多。

QQ空间用户的年龄阶段分布:出生于1990年到1995年的用户相对来说较多。

QQ空间用户的性别分布:男生占比多于50%,女生占比多于30%,未填性别的占10%左右。

除了以上两个例子之外,用户爬虫还可以做很多事情,比如爬取淘宝的用户信息,可以分析淘宝用户喜欢什么商品,从而更有利于我们对商品的定位等。

由此可见,利用用户爬虫可以获得很多有趣的潜在信息,那么这些爬虫难吗?其实不难,在阅读完本书后,相信你也能写出这样的爬虫。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Python编程 介绍(入门)
本章将开始Python编程的介绍(入门)日后将持续更新从入门到实战。
40 0
python 编程 编译器与解释器(入门)
本章将介绍编译器和解释器的作用
22 0
Python编程 环境搭建
本章将介绍如何安装Python和环境搭建
16 0
Python 编程必备-Python 列表实现|学习笔记
快速学习 Python编程必备-Python 列表实现
45 0
Python 编程核心-Python 字典增删改查|学习笔记
快速学习 Python 编程核心-Python 字典增删改查
17 0
Python 入门必备-编程逻辑判断及案例练习|学习笔记
快速学习 Python 入门必备-编程逻辑判断及案例练习
17 0
一文带你使用 Python 实现 Socket 编程
整个计算机网络都是由协议组成。 其实可以把协议类比成我们人类用的语言,我们和老外交流,双方得说一样的语言,就好像遵从同样的“协议”。网络上的两台机器之间要交流,也是如此。
38 0
文章
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
Python 系列直播——深入Python与日志服务,玩转大规模数据分析处理实战第二讲
立即下载
Python第五讲——关于爬虫如何做js逆向的思路
立即下载
ACE 区域技术发展峰会:Flink Python Table API入门及实践
立即下载