flume分布式日志收集测试

官方参考文档

https://flume.apache.org/FlumeUserGuide.html#file-channel

Flume NG是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG，进行了架构重构，并且现在NG版本完全不兼容原来的OG版本。经过架构重构后，Flume NG更像是一个轻量的小工具，非常简单，容易适应各种方式日志收集，并支持failover和负载均衡。

架构设计要点

Flume的架构主要有一下几个核心概念：

• Event：一个数据单元，带有一个可选的消息头

• Flow：Event从源点到达目的点的迁移的抽象

• Client：操作位于源点处的Event，将其发送到Flume Agent

• Agent：一个独立的Flume进程，包含组件Source、Channel、Sink

• Source：用来消费传递到该组件的Event

• Channel：中转Event的一个临时存储，保存有Source组件传递过来的Event

• Sink：从Channel中读取并移除Event，将Event传递到Flow Pipeline中的下一个Agent（如果有的话）

Flume NG架构，如图所示：

外部系统产生日志，直接通过Flume的Agent的Source组件将事件（如日志行）发送到中间临时的channel组件，最后传递给Sink组件，HDFS Sink组件可以直接把数据存储到HDFS集群上。
一个最基本Flow的配置，格式如下：

尖括号里面的，我们可以根据实际需求或业务来修改名称。下面详细说明：
表示配置一个Agent的名称，一个Agent肯定有一个名称。与是Agent的Source组件的名称，消费传递过来的Event。与是Agent的Channel组件的名称。与是Agent的Sink组件的名称，从Channel中消费（移除）Event。
上面配置内容中，第一组中配置Source、Sink、Channel，它们的值可以有1个或者多个；第二组中配置Source将把数据存储（Put）到哪一个Channel中，可以存储到1个或多个Channel中，同一个Source将数据存储到多个Channel中，实际上是Replication；第三组中配置Sink从哪一个Channel中取（Task）数据，一个Sink只能从一个Channel中取数据。
下面，根据官网文档，我们展示几种Flow Pipeline，各自适应于什么样的应用场景：

• 多个Agent顺序连接

可以将多个Agent顺序连接起来，将最初的数据源经过收集，存储到最终的存储系统中。这是最简单的情况，一般情况下，应该控制这种顺序连接的Agent的数量，因为数据流经的路径变长了，如果不考虑failover的话，出现故障将影响整个Flow上的Agent收集服务。

• 多个Agent的数据汇聚到同一个Agent

这种情况应用的场景比较多，比如要收集Web网站的用户行为日志，Web网站为了可用性使用的负载均衡的集群模式，每个节点都产生用户行为日志，可以为每个节点都配置一个Agent来单独收集日志数据，然后多个Agent将数据最终汇聚到一个用来存储数据存储系统，如HDFS上。

• 多路（Multiplexing）Agent

这种模式，有两种方式，一种是用来复制（Replication），另一种是用来分流（Multiplexing）。Replication方式，可以将最前端的数据源复制多份，分别传递到多个channel中，每个channel接收到的数据都是相同的，配置格式，如下所示：

上面指定了selector的type的值为replication，其他的配置没有指定，使用的Replication方式，Source1会将数据分别存储到Channel1和Channel2，这两个channel里面存储的数据是相同的，然后数据被传递到Sink1和Sink2。
Multiplexing方式，selector可以根据header的值来确定数据传递到哪一个channel，配置格式，如下所示：

上面selector的type的值为multiplexing，同时配置selector的header信息，还配置了多个selector的mapping的值，即header的值：如果header的值为Value1、Value2，数据从Source1路由到Channel1；如果header的值为Value2、Value3，数据从Source1路由到Channel2。

• 实现load balance功能

Load balancing Sink Processor能够实现load balance功能，上图Agent1是一个路由节点，负责将Channel暂存的Event均衡到对应的多个Sink组件上，而每个Sink组件分别连接到一个独立的Agent上，示例配置，如下所示：

• 实现failover能

Failover Sink Processor能够实现failover功能，具体流程类似load balance，但是内部处理机制与load balance完全不同：Failover Sink Processor维护一个优先级Sink组件列表，只要有一个Sink组件可用，Event就被传递到下一个组件。如果一个Sink能够成功处理Event，则会加入到一个Pool中，否则会被移出Pool并计算失败次数，设置一个惩罚因子，示例配置如下所示：

基本功能

我们看一下，Flume NG都支持哪些功能（目前最新版本是1.5.0.1），了解它的功能集合，能够让我们在应用中更好地选择使用哪一种方案。说明Flume NG的功能，实际还是围绕着Agent的三个组件Source、Channel、Sink来看它能够支持哪些技术或协议。我们不再对各个组件支持的协议详细配置进行说明，通过列表的方式分别对三个组件进行概要说明：

1. 安装配置略，可以参考网上教程

   
   

2. 下面是测试的配置文件

   agent 配置文件如下

   
   

   
   

3. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

   # Name the  components on this agent a1.sources =  r1 a1.sinks =  k1 a1.channels  = c1   a1.sinks.k1. type  = avro  a1.sinks.k1. hostname  = 127.0.0.1 a1.sinks.k1.port = 44444  a1.sinks.k1.channel = c1   # Use a  channel which buffers events in memory a1.channels.c1. type   = memory a1.channels.c1.capacity  = 1000 a1.channels.c1.transactionCapacity  = 100   a1.sources.r1. type   =  exec a1.sources.r1. command   =  tail  -F   /var/log/nginx/access .log a1.sources.r1.channels  = c1 a1.sources.s.deserializer.maxLineLength=65535

server端配置文件如下：  测试复制（Replication）1个source 复制到多个channels 输出到多个sink

启动测试命令

flume-ng agent -c . -f test.conf   -n b1  -Dflume.root.logger=INFO,console

-c  配置文件目录  -f配置文件  -n  节点名字  和配置文件对应     console打到终端

5.flume-ng负载均衡load-balance、failover集群搭建

参考链接

http://blog.csdn.net/lskyne/article/details/37662835

6. 测试   区分 flume日志合并在一起的日志

本文转自   tianshuai369   51CTO博客，原文链接:http://blog.51cto.com/kkkkkk/1722390