c. 新建一个项目入口类SessionCutETL：
package com.shaonaiyi.session import org.apache.spark.{SparkConf, SparkContext} /** * @Auther: shaonaiyi@163.com * @Date: 2019/9/12 10:09 * @Description: 会话切割的程序主入口 */ object SessionCutETL { def main(args: Array[String]): Unit = { var conf = new SparkConf() conf.setAppName("SessionCutETL") conf.setMaster("local") var sc = new SparkContext(conf) val rawRDD: RDD[String] = sc.textFile("data/rawdata/visit_log.txt") rawRDD.collect().foreach(println) sc.stop() } }
执行后，可以看到已经加载到了原始日志的数据
PS：因为没有配置Hadoop，所以前面会报此错误，可以忽略：
4. 解析日志源数据
a. 继续在SessionCutETL中添加解析日志源数据代码
val parsedLogRDD: RDD[Option[TrackerLog]] = rawRDD.map( line => RawLogParserUtil.parse(line)) parsedLogRDD.collect().foreach(println)
现在去执行的话会报错：
因为Driver与executor通讯的时候需要进行序列号，而Avro插件给我们生成的类中并没有给我们进行序列化，所以还需要给相应的类进行序列号，序列号很简单，只需要在类的后面实现序列化接口 Serializable 即可。
b. 实现TrackerLog类的序列化：
c. 重新执行就可以看到结果了，到此已经实现了我们的日志的解析：
d. 使用flatmap API调整输出格式
查看上面的代码：
val parsedLogRDD: RDD[Option[TrackerLog]] = rawRDD.map( line => RawLogParserUtil.parse(line))
我们返回的类型是RDD[Option[TrackerLog]]，对于返回结果，我们的格式是None、Some()，这种类型，不是我们想要的结果，我们的结果应该更加简洁。所以可以修改此行代码为：
val parsedLogRDD: RDD[TrackerLog] = rawRDD.flatMap( line => RawLogParserUtil.parse(line))
运算结果如下：
此处需要清楚map与flatMap的区别，简而言之：map是一对一的关系，一行就是一个具体的类，所以多少行就有多少个类，然后每个类都切，切了后，这些类还存在；而flatMap则会对所有的行打平成一个类，然后进行切，最后是只有一个类。
5. 日志清洗操作
a. 非法类型的日志说明
仔细关系我们前面的日志，可以看到我们最后有两条数据的类型是hhhh和3333ss，显然不是合法的日志，这里我们需要将其过滤掉，在实际的日志里面脏数据可能各种各样，但处理流程都类似。
hhhh|2017-09-04 12:45:03|cookie1|127.0.0.3|https://tieba.baidu.com/index.html 3333ss|2017-09-04 12:45:03|cookie1|127.0.0.3|https://tieba.baidu.com/index.html
b. 定义合法类型（与main方法同级）
private val logTypeSet = Set("pageview", "click")
c. 修改解析代码，加上过滤条件
val parsedLogRDD: RDD[TrackerLog] = rawRDD.flatMap(RawLogParserUtil.parse(_)) .filter(trackerLog => logTypeSet.contains(trackerLog.getLogType.toString))
d. 重新执行，会发现后面的那两条脏数据已经没有显示出来了
0x03 思路回顾
1、首先，我们需要清楚，我们的大项目其实是网站用户行为分析，而会话切割只是项目里面的小环节，至于网站用户行为分析可以达到什么结果。我们这里边可以简单列举几个，比如说，我们可以通过分析一个人在浏览网站时点击的内容、打开的内容、停留的时间等等，初步判断此人是否对此内容特别感兴趣，得出这个结论之后，我们就可以对此人做定制化的推荐等等，当然这只是一个小小的例子。刚刚我们是从项目开发流程出发，而实际上，我们应该是已经知道我们可以获取到什么信息什么数据，然后，由我们的信息和数据，挖掘我们想要的功能。比如说，你现在有一个产品，需要找到你的商城网站里面、或者其他网站里面某些人对你同类型的产品特别感兴趣，你只需要筛选出这些人，那么我们就可以给这些人推荐你的产品，这些匹配度度高的人就是你的高级客户，你推销产品肯定也会更加顺利。所以呢，我们就要努力朝着这个方向去实现我们的目标，我们目标就是要筛选出这些与你产品匹配度极高的人。
2、所以在此过程中，我们可以根据各种途径，拿到你需要的数据，当然，这些数据也可能是之前已经存在了的，也可能是你确定了目标之后才确定你是否想要的，缺什么数据就想方法去获取，然后整理一下存放到该存放的地方，像这些网页行为，数据量肯定是很大的，点击、打开、滑动等等都是一条数据，每个人都可以产生很多很多条，对于这些量大的数据，我们就可以存储到HDFS上，关于量少的，就可以存到其他地方，不固定，灵活进行存储选型。
3、这里教程没有提供收集数据的教程，如果有浏览过本博客的读者应该会清楚，我们的数据是怎么得到的，比如说Flume就可以实现，还有很多种方式。我们这里已经省略了那些过程，分析完成之后我们就可以进行编码去实现了，因为存储的数据都只是文本文件，而我们要做的，肯定是要先进行数据清洗，把不合法的数据过滤掉，那么根据什么条件进行过滤呢？ 在学习传统数据库的时候，如MySQL，可以用where来确定过滤的条件，比如检索出年龄大于18岁的学生，那么年龄就是一个很关键的因素，而我们的文本文件中，其实是还没有真正去规定好字段的，只是在第一行确定了Schema信息而已，如果不进行字段的切分，那么每一行都要自定义一次，这样显然很麻烦。那么我们就可以统一将文本文件切分成一段一段的，什么字段对应什么意思、对应什么字段。每个字段都属于一行竖行，很显然，我们可以通过构建一个对象来对应上，一个类相当于一行数据，然后一行里面的每个字段，相当于一个对象里面的属性。类->行，属性->字段，所以我们需要在前面定义一个类。
4、我们的Spark作业在进行数据传输的时候，要先进行序列化，所以还要给我们的类进行序列化，Java里面的序列化类是Serializable，搞定之后就可以去获取我们的数据源了，然后清洗、过滤等，过程比较繁多，后期教程会继续完成。
0xFF 总结
其实Spark里面有内置的Kryo序列化接口，性能更好，而且更适合我们当前的应用场景，这个优化点留到项目后期再进行升级。
我们在测试的时候，看到很多启动时的提示信息，很影响我们查看，我们可以通过设置将其屏蔽掉，以方便我们开发，也一样在后期教程再写上。
俗话说得好：“台上一分钟，台下十年功。” 可是写教程不一样，操作半个钟，思路半天，写教程一天。这就是台下半个钟，台上十年功啊！感谢各位读者支持，感谢老汤，关注，评论，加油。
网站用户行为分析项目系列：
网站用户行为分析项目之会话切割（一）
网站用户行为分析项目之会话切割（二）
网站用户行为分析项目之会话切割（三）
