开发者学堂课程【大数据分析之企业级网站流量运营分析系统开发实战（第二阶段）：网站流量日志分析--数据预处理--目的意义和 mr 编程技巧】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/694/detail/12187
网站流量日志分析--数据预处理--目的意义和 mr 编程技巧
内容介绍
一、 预处理的本质和目的
二、 数据预处理
三、 预处理的意义
四、 预处理使用的技术
五、 预处理的编程思路
一、 预处理的本质和目的
整个预处理当中，核心关键字就是预，预可以理解为预先处理一下。那么已经有了数据，为什么需要预先处理一下呢？
因为通过合同手段采集到的数据，往往不利于直接分析，对于项目来说，这里提供了买点收集的数据，打开参考资料，有一个叫做网站流量日志分析的项目资料，在这当中有买点收集的数据，就是之前通过页面买点收集的数据，这个数据收集到之后完成了数据从无到有的过程，一眼看上去这个数据好像是格式规整、统一概念的数据，但是认真一看，发现当中总会有一些不如人意的，比如一条数据，发现当中大量的字段丢失，这样的数据是不利于分析的，所以需要对它进行过滤操作；还有其他的，比如还有一个字段叫做时间，一眼看上去发现这个时间的格式当中有数字、有英文，里面一会是斜杠，一会是冒号来进行分割，如果要分析比如统计每个小时、统计每天的，不管是处理还是切割也好，都非常麻烦；再比如有手机号字段进行了加密，那就需要进行解密。
有种种原因使得在正式的处理之前需要对数据进行一个预先的操作，把数据当中的脏数据过滤掉、清洗掉，把一些无意义的数据都排除掉，并且进行格式规整、统一、解码、编码等操作。
因此预处理目的就出现了，需要在正式处理之前过滤一些不合规的数据，清洗没有意义的数据，并且把数据变成格式规整统一的结构化数据，便于后续的入库分析，这就是预处理的本质和目的。
二、 数据预处理
（1） 解释：
在正式处理数据之前对收集的数据进行预先处理的操作。
（2） 原因：
不管通过何种手段收集的数据往往都是不利于直接分析的，因为数据中存在格式规整的差异。
（3） 目的：
把不干净的数据和格式不规则的数据通过预处理清洗变成格式统一规整的结构化数据。
如果不预先处理一下，后面直接开展分析，这时候如果存在差异性就没办法了，如果再去处理是就会浪费时间，浪费精力，所以需要进行预处理。
三、 预处理的意义
明白原因和目的之后，以这个项目来说，看一下数据，比如说字段明显缺失的，需要进行一个删除，这里删除采用的是逻辑删除，而不是把它真的删除。比如第一个标记位来进行，比如时间要进行转换就进行时间的转换，需要其他操作的进行其他的操作，这是预处理的意义。结合具体的项目业务来说，要进行相关的操作。
四、 预处理使用的技术
明白了目的和意义后，接下来就要确定使用什么样的技术来实现预处理。关于数据预处理的技术，准确来说任何一门语言和编程软件和工具只要能够接受数据、处理数据，然后输出数据都可以进行数据处理操作，比如JAVA语言，python，现有脚本。本项目当中使用 JAVA 语言，不需要去写原生的JAVA程序，这里的技术层面使用MapReduce 编程框架，使用它的原因在于两点：第一个，海马程序本身是JAVA程序，语言层面相对熟悉，可以调用很多JAVA已有的库，比如要处理时间，要用新的forma，第三方jar包非常方便，这是第一点；
第二个MR是一个分布式的计算程序，在企业当中如果数据量比较大，可以并行计算提高预计的效率。所以基于上面两种原因，使用m码。m码编程的重点就在于每个阶段key和v的确定，m码编程是key、v键值对的输入输出过程。
五、 预处理的编程思路
预处理的编程思路问题，重点强调一点，在使用m码编程的过程中需要牢牢的把握住每个阶段的k是什么，因为m码中 k 有很多默认的属性存在。默认的分区跟k相关，根据key的哈希，对 MapReduce 的个数分组（reducetasknums）；分组也跟key相关，默认 key 相同的分到一组；排序也跟key相关，默认的排序是按照key的字典序排序。
基于这些原因，在进行预处理操作或者使用m码编程操作的时候，重点把握每个阶段的配置。把握住key就把握住了m编程，这是预处理的目的以及编程思路。
