前面测试了一下spark，准备好环境，下面开始动工源码。分析清洗日志，这里面的代码还是比较复杂的。对于iis日志，可参考
about云日志分析项目准备10-3：Spark Local模式之Log文本清洗
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21135
对于Apache日志，国外已经实现。源码git地址
https://github.com/alvinj/ScalaApacheAccessLogParser
网盘下载地址
链接：http://pan.baidu.com/s/1jIj87wM 密码：p0zd
这里从上面下载下来，然后导入IntelliJ IDEA ，然后打包。
导入源码
首先file-》open
选择源码文件
导入之后看到下面内容
对于spark环境不熟悉或则不会操作可参考
spark开发环境详细教程1：IntelliJ IDEA使用详细说明
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22320
spark开发环境详细教程3：IntelliJ IDEA创建项目
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22410
打包
上面我们准备了源码，然后将源码打成jar包，供我们项目中使用。
首先打开project structure,
选择依赖
填写主类
点击确定
选择菜单 Build Artifacts
点击build
最后生成jar包，在terminal中会显示输出jar包路径
找到生成jar包。我们就可以使用了。
