Flume-NG + HDFS + HIVE 日志收集分析

国内私募机构九鼎控股打造APP，来就送 20元现金领取地址：http://jdb.jiudingcapital.com/phone.html
内部邀请码：C8E245J （不写邀请码，没有现金送）
国内私募机构九鼎控股打造，九鼎投资是在全国股份转让系统挂牌的公众公司，股票代码为430719，为“中国PE第一股”，市值超1000亿元。 

------------------------------------------------------------------------------------------------------------------------------------------------------------------

最近做了一个POC，目的是系统日志的收集和分析，此前有使用过splunk，虽然用户体验很好，但一是价格昂贵，二是不适合后期开发（splunk已经推出了SDK，后期开发已经变得非常容易）。在收集TB级别的日志量上flume-ng是更好的选择，因为后面的存储是扩展性极佳的HDFS。先简要介绍一下测试环境：
5台VM机器(RHEL6.3)：
1, collector01
2, namenode
3, datanode01
4, datanode02
5, datanode03
第一台机器collector01用户日志收集，数据汇总到collector01后写入hdfs, 其余4台仅服务Hadoop相关服务，其上安装了CDH4.0，HDFS/MapReduce/hive等等。
注意：
1, flume-ng如需将数据写入hdfs，本机也同样需要安装hadoop 相关的package
2, CDH4.0在使用中遇到不少bug，浪费了一些时间，建议使用CDH3 （当初选在CDH4.0 是因为有impala package，但此次测试并未加入impala部分）

Flume-NG基本概念

Apache Flume-NG是一个分布式，可靠的日志收集，聚合系统，最早由cloudera开发，现已经并入Apache社区，相比较之前的flume-og (Flume)而言，结构更精简清晰（没有了master,collecter的概念）部署更容易。

如上图，Flume-NG有3个重要的概念

1, Source

2, Channel

3, Sink

正如其名字所示例的那样， Source是数据源，Channel负责数据的传送，而Sink则是数据的目的地。Flume-NG中很重要的一点就是：一个flume instance的Sink可以是另外一个flume instance的source，这样就可以首尾相连，形成一条链。log 数据也就可以传送到任意地方，最终进入HDFS存储。Source/Channel/Sink各自有不同的Type，适用不同的场景，具体可以参看文档，我这里就不赘述了，下面就简单介绍一下我POC过程中使用的配置情况：

[root@collector01 apache-flume-1.3.0-bin]# cat /data/apache-flume-1.3.0-bin/conf/flume.conf
# Define a memory channel called c1 on a1
a1.channels.c1.type = memory

# Define an Avro source called r1 on a1 and tell it
# to bind to 0.0.0.0:41414. Connect it to channel c1.
a1.sources.r1.channels = c1
a1.sources.r1.type = avro
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 41414 a1.sinks.k1.type = hdfs a1.sinks.k1.channel = c1 a1.sinks.k1.hdfs.path = hdfs://namenode:8020/user/hive/warehouse/squid a1.sinks.k1.hdfs.filePrefix = events- a1.sinks.k1.hdfs.fileType = DataStream a1.sinks.k1.hdfs.writeFormat = Text a1.sinks.k1.hdfs.rollSize = 0 a1.sinks.k1.hdfs.rollInterval= 0 a1.sinks.k1.hdfs.rollCount = 600000 a1.sinks.k1.hdfs.rollInterval = 600 # # Finally, now that we've defined all of our components, tell # a1 which ones we want to activate. a1.channels = c1 a1.sources = r1 a1.sinks = k1

bin/flume-ng agent --conf ./conf/ -f conf/flume.conf -Dflume.root.logger=DEBUG,console -n a1

bin/flume-ng avro-client --conf conf -H collector01 -p 41414 -F /root/1024.txt -Dflume.root.logger=DEBUG,console

[ ]*([0-9]*)[^ ]*[ ]*([^ ]*) ([^ ]*) ([^ |^ /]*)/([0-9]*) ([0-9]*) ([^ ]*) ((?:([^:]*)://)?([^/:]+):?([0-9]*)?(/?[^ ]*)) ([^ ]*) ([^/]+)/([^ ]+) (.*)

# How many log entry inside table
select count(*) from squidtable;

# How many log entry inside table with client ip 10.10.10.1
select count(*) from squidtable where clientip = "10.10.10.1";

# some advance query
SELECT clientip, COUNT(1) AS numrequest FROM squidtable GROUP BY clientip SORT
BY numrequest DESC LIMIT 10;