Flume系统

Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输系统，起源于Cloudera。
Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume最早是Cloudera提供的日志收集系统，目前是Apache下的一个孵化项目。

包括：

1. Agent：Agent用于采集数据，是Flume中产生数据流的地方。Agent会将产生的数据流传输到Collector。
2. Collector：Collector用于对数据进行聚合，往往会产生一个更大的流。
3. Source：Source是数据流的起点，可以是console（控制台）、RPC（Thrift-RPC）、text（文件）、tail（UNIX tail）、syslog（syslog日志系统，支持TCP和UDP等2种模式），exec（命令执行）等数据源。
4. Sink：Sink是数据流的终点，可以是console（控制台）、text（文件）、dfs（HDFS文件）、RPC（Thrift-RPC）和syslogTCP（TCP syslog日志系统）等。
5. Master：Flume Master用于管理数据流的配置。

一般情况案例；

1. 收集系统日志：Flume可以收集服务器、应用程序和服务的日志，并将它们汇总到一个中央存储系统中，以便进行分析和审计。
2. 收集网络数据：Flume可以作为网络数据收集器，从网络上的各种来源收集数据，例如Web服务器、数据库服务器、消息队列等。
3. 数据聚合和处理：Flume可以将来自多个数据源的数据进行聚合和处理，以便进行进一步的分析和处理。

4. 数据传输：Flume可以将数据从收集器传输到存储系统，如HDFS、HBase、Kafka等。

5. 实时数据处理：Flume可以实时收集和处理数据，以满足实时分析和监控的需求。

6. 安全性和审计：Flume可以收集和存储系统、应用程序和网络数据，以支持安全性和审计需求。
7. 物联网应用：Flume可以收集来自物联网设备的数据，例如传感器数据、智能家居数据等，以便进行数据分析和处理。