对网上盛传的两千万泄漏数据的简单分析

最近网上盛传两千万酒店用户数据泄漏，出于好奇，我也从网上下载了一份下来。本次下载纯粹是出于学习和研究用，不会做什么坏事，不要问本人要下载地址，大家自己找。由于本人并不是学统计和数据挖掘方面的，所以只能浅显的做做统计分析，下面开始我们的学习和研究。

首先，数据源只有一个表（总数据2005W），里面主要存放了用户的姓名、证件类型，证件号码，生日，性别，住址，手机号码，邮箱等私人信息。这些数据应该是从多个数据源集成进来的，因为里面的格式很不工整，有些默认值使用的也不一样。我们要做数据分析，那么需要进行数据清理，然后建立Cube，使用ETL转换成维度模型，最后使用各种前段呈现工具进行展示。

数据清理

主要是去除字符串首尾的空格，还有就是很多数据是没有生日和性别的值的，但是我们知道，通过身份证号码就能够推断出生日和性别，所以这部分数据可以补齐。另外还有就是数据重复问题，我们可以把身份证号码作为主键进行去重，我搜索了下，有相同身份证号码的大概占总数据的0.5%，所以我也就没有做去重工作，认为里面的数据都表示一个独立的人。

多维分析模型

有姓名，我们可以对姓氏分布进行分析，有了身份证号码，我们可以对出生地（省、市、区）进行分析，对出生的年月分布进行分析，对性别分布进行分析。住址由于格式太不一样，就不分析了，有了手机号码我们可以对手机号码段的分布进行分析，也可以对用户所在地进行分析（绝大多数用户使用的手机号就是平时生活所在地的号），有了邮箱地址可以对域名进行统计。

要得到身份证对于的地区，以及电话号码对应的地区，可以从网上找到对应表，导入数据库中即可进行联合分析。

出生年月和性别

在建立了多维模型后，使用Excel连接Cube进行多维分析是个很简单的事情。下面我们看看所有人员的年龄分布。

我们可以看到，住酒店的人主要集中在1962～1990年左右，由于我们的数据是Budget Hotel（比较廉价的酒店）数据，可以想象，住这些酒店的都是社会的中低层，高富帅和官二代是肯定不住这种酒店的，穷的很的那就只有住更廉价的招待所或者睡火车站了。住酒店的人的年龄段大部分都还在工作，看来很多人住酒店还是因为商务的原因。从16岁到20岁左右的酒店人数还是少数哈，并不是传说的都是约炮数据。

下面再来对比一下各年龄段性别上的分布。（为了便于观看主体数据，我把时间段缩短成1949～2000）

从图中可以看到，在1990年之前出生人里面，住酒店的男性比例远高于女性，毕竟出差的人还是以男性居多吧，这个数据可以理解。但是在90后的年龄段里面，女性比例和男性比例基本是1：1，甚至还有些数据是女性比例高于男性，90后才刚跨入社会开始工作，或者还没有开始工作，所以不存在大量男性出差的问题，但是为什么女性比例会比男性比例高呢？这个问题有意思，留给大家自己YY。

省份分布

我们可以从身份证号码前2位知道一个人在出生上户口的时候所在的省份，可以统计每个省份的住酒店人数。本身统计这个没什么意思，把全国人口统计数据拿出来比较就比较有意思了。下面看看做出的表。

我们可以看到，上海、浙江、山西、北京、天津这几个地方的住酒店人数排名远高于人口排名，江浙一带和京津塘一带经济很发达，出差频繁，可以理解，但是山西为什么出差那么多呢？可能山西人有商业的基因吧。

另外就是发现广东、广西、云南、四川、重庆的住酒店人数小于人口排名，广东很发达啊，怎么会住酒店的人少呢？可能是因为广东人喜欢在本地发展吧，出来到处漂的并不多。

上面只是从身份证上得出的省份，下面再看看手机号得出的省份数据，这个数据反映的应该是人们当前工作/生活的省份的情况。

这个数据比上一个数据的差别更大，可以说是非常不平衡，可以看到，上海、北京、天津的商业很发达，人口排名不高，但是住酒店的人口排名非常高。比较杯具的是云南、四川、湖南、广西，工作和出差人数远少于人口基数。

姓名分布

这里我只统计了姓，没有统计名，不过姓名可以先说一下，在所有姓名数据中，重名最高的前10个姓名是：张伟,王伟,王磊,李伟,张磊,刘伟,李强,张勇,王勇,刘洋。相信很多人周围就有这些姓名的人。重名排行前250位左右的都是两个字的姓名，看来起三个字姓名的重名率会低很多很多。重名率最高的Top10三个字姓名的是：王建军,王志强,王建华,王晓东,张建军,王婷婷,王志刚,张建华,张志强,张婷婷。好像周围也很容易找到这些姓名的人。

下面还是说姓吧，这个对中国人来说很重要。姓氏很多，网上找了一个前200姓氏人口排名表，拿来和我做出来的数据对比，发现有以下几个数字比较突出：

• 金姓和陆姓的酒店统计排名远远高于人口统计排名。
• 邓,曾,孔这三个姓的酒店统计排名远远小于人口统计排名。

其中原因还得从其他维度去联合分析，可能是因为有些姓是集中在某个地方吧！

另外一个题外话，在Top200的姓氏人口统计中没有肖姓，却有萧姓，其实这是同一个姓，古时候根本没有姓肖的，后来由于文革时期的简体字运动，把萧简写成了肖，后来这个简写又被取消了。

出生月份统计

很简单的一个统计分析，看看一年12个月里面，哪个月出生的人最多。

从图中可以看出，10月份的人最多，4月份的人最少。为什么会这样呢？可能需要专家来解释。

手机号段分布

我这里取的是手机号码的前三位，应该哪个最高？我一直以为是138，结果发现是139。

移动的号码占很大优势，联通186和电信的133都排在后面了。看来广大中低产阶级还是选移动的多啊。

本来还可以进一步分析具体是全球通、神州行还是动感地带的，难得提取了。有需要的话可以再花点时间分析分析。

邮箱域名分布

邮箱域名里面，哪个最多？以前听说是163，后来又听说QQ邮箱把他超越了，我们还是看数据吧。

前10大邮箱域名排名：

QQ邮箱果然是最多的，不过优势也不是那么明显，而且排第二第三的都是网易的邮箱，加起来就超过QQ邮箱了。

以上只是简单的分析，其实在进行了很好的数据清洗和模型设计后，我们还可以从中挖掘出很多好玩的地方。尤其是应用上数据挖掘算法，可以造成多个维度之间的相关性，由于工作较忙，时间比较仓促，所以实验就做到这里。大家有什么想分析的话可以留言，我再做做。

本文转自深蓝居博客园博客，原文链接：http://www.cnblogs.com/studyzy/p/3388887.html，如需转载请自行联系原作者