备案控制台
开发者社区 大数据 文章 正文

【Flume】（五）Flume 企业开发实战（自定义 Interceptor、自定义 Source、自定义 Sink）1

2022-06-11 102
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 【Flume】（五）Flume 企业开发实战（自定义 Interceptor、自定义 Source、自定义 Sink）1

文章目录

一、复制和多路复用

二、负载均衡和故障转移

三、聚合

四、自定义 Interceptor

五、自定义 Source

六、自定义 Sink


一、复制和多路复用

1）案例需求


使用 Flume-1 监控文件变动，Flume-1 将变动内容传递给 Flume-2，Flume-2 负责存储


到 HDFS。同时 Flume-1 将变动内容传递给 Flume-3，Flume-3 负责输出到 Local FileSystem。


2）需求分析：


单数据源多出口案例：


20200408114959692.png


3）实现步骤：


0.准备工作

在/opt/module/flume/job 目录下创建 group1 文件夹

[atguigu@hadoop102 job]$ cd group1/


在/opt/module/datas/目录下创建 flume3 文件夹

[atguigu@hadoop102 datas]$ mkdir flume3


1．创建 flume-file-flume.conf


配置 1 个接收日志文件的 source 和两个 channel、两个 sink，分别输送给 flume-flume-hdfs 和 flume-flume-dir。


编辑配置文件

[atguigu@hadoop102 group1]$ vim flume-file-flume.conf


添加如下内容

# Name the components on this agent
a1.sources = r1
a1.sinks = k1 k2
a1.channels = c1 c2
# 将数据流复制给所有 channel
a1.sources.r1.selector.type = replicating
# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /opt/module/hive/logs/hive.log
a1.sources.r1.shell = /bin/bash -c
# Describe the sink
# sink 端的 avro 是一个数据发送者
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop102
a1.sinks.k1.port = 4141
a1.sinks.k2.type = avro
a1.sinks.k2.hostname = hadoop102
a1.sinks.k2.port = 4142
# Describe the channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
a1.channels.c2.type = memory
a1.channels.c2.capacity = 1000
a1.channels.c2.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1 c2
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c2


2.创建 flume-flume-hdfs.conf


配置上级 Flume 输出的 Source，输出是到 HDFS 的 Sink。


编辑配置文件

[atguigu@hadoop102 group1]$ vim flume-flume-hdfs.conf


添加如下内容

# Name the components on this agent
a2.sources = r1
a2.sinks = k1
a2.channels = c1
# Describe/configure the source
# source 端的 avro 是一个数据接收服务
a2.sources.r1.type = avro
a2.sources.r1.bind = hadoop102
a2.sources.r1.port = 4141
# Describe the sink
a2.sinks.k1.type = hdfs
a2.sinks.k1.hdfs.path = hdfs://hadoop102:9000/flume2/%Y%m%d/%H
#上传文件的前缀
a2.sinks.k1.hdfs.filePrefix = flume2- #是否按照时间滚动文件夹
a2.sinks.k1.hdfs.round = true
#多少时间单位创建一个新的文件夹
a2.sinks.k1.hdfs.roundValue = 1
#重新定义时间单位
a2.sinks.k1.hdfs.roundUnit = hour
#是否使用本地时间戳
a2.sinks.k1.hdfs.useLocalTimeStamp = true
#积攒多少个 Event 才 flush 到 HDFS 一次
a2.sinks.k1.hdfs.batchSize = 100
#设置文件类型，可支持压缩
a2.sinks.k1.hdfs.fileType = DataStream
#多久生成一个新的文件
a2.sinks.k1.hdfs.rollInterval = 600
#设置每个文件的滚动大小大概是 128M
a2.sinks.k1.hdfs.rollSize = 134217700
#文件的滚动与 Event 数量无关
a2.sinks.k1.hdfs.rollCount = 0
# Describe the channel
a2.channels.c1.type = memory
a2.channels.c1.capacity = 1000
a2.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1


3.创建 flume-flume-dir.conf


配置上级 Flume 输出的 Source，输出是到本地目录的 Sink。


编辑配置文件

[atguigu@hadoop102 group1]$ vim flume-flume-dir.conf


添加如下内容

# Name the components on this agent
a3.sources = r1
a3.sinks = k1
a3.channels = c2
# Describe/configure the source
a3.sources.r1.type = avro
a3.sources.r1.bind = hadoop102
a3.sources.r1.port = 4142
# Describe the sink
a3.sinks.k1.type = file_roll
a3.sinks.k1.sink.directory = /opt/module/data/flume3
# Describe the channel
a3.channels.c2.type = memory
a3.channels.c2.capacity = 1000
a3.channels.c2.transactionCapacity = 100
# Bind the source and sink to the channel
a3.sources.r1.channels = c2
a3.sinks.k1.channel = c2


提示：输出的本地目录必须是已经存在的目录，如果该目录不存在，并不会创建新的目录。


4．执行配置文件


分别启动对应的 flume 进程：flume-flume-dir，flume-flume-hdfs，flume-file-flume。

[atguigu@hadoop102 flume]$ bin/flume-ng agent --conf conf/ --name 
a3 --conf-file job/group1/flume-flume-dir.conf
[atguigu@hadoop102 flume]$ bin/flume-ng agent --conf conf/ --name 
a2 --conf-file job/group1/flume-flume-hdfs.conf
[atguigu@hadoop102 flume]$ bin/flume-ng agent --conf conf/ --name 
a1 --conf-file job/group1/flume-file-flume.conf


5.启动 Hadoop 和 Hive


[atguigu@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh
[atguigu@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh
[atguigu@hadoop102 hive]$ bin/hive
hive (default)>


6.检查 HDFS 上数据


20200408120714869.png


7.检查/opt/module/datas/flume3 目录中数据


[atguigu@hadoop102 flume3]$ ll
总用量 8 -rw-rw-r--. 1 atguigu atguigu 5942 5 月 22 00:09 1526918887550-3


二、负载均衡和故障转移

1）案例需求


使用 Flume1 监控一个端口，其 sink 组中的 sink 分别对接 Flume2 和 Flume3，采用FailoverSinkProcessor，实现故障转移的功能。


2）需求分析


故障转移案例


20200408120932747.png


3）实现步骤 0.准备工作 在/opt/module/flume/job 目录下创建 group2 文件夹

[atguigu@hadoop102 job]$ cd group2/


1.创建 flume-netcat-flume.conf


配置 1 个 netcat source 和 1 个 channel、1 个 sink group（2 个 sink），分别输送给 flume-flume-console1 和 flume-flume-console2。


编辑配置文件

[atguigu@hadoop102 group2]$ vim flume-netcat-flume.conf


添加如下内容

# Name the components on this agent
a1.sources = r1
a1.channels = c1
a1.sinkgroups = g1
a1.sinks = k1 k2
# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
a1.sinkgroups.g1.processor.type = failover
a1.sinkgroups.g1.processor.priority.k1 = 5
a1.sinkgroups.g1.processor.priority.k2 = 10
a1.sinkgroups.g1.processor.maxpenalty = 10000
# Describe the sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop102
a1.sinks.k1.port = 4141
a1.sinks.k2.type = avro
a1.sinks.k2.hostname = hadoop102
a1.sinks.k2.port = 4142
# Describe the channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinkgroups.g1.sinks = k1 k2
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c1


2.创建 flume-flume-console1.conf


配置上级 Flume 输出的 Source，输出是到本地控制台。


编辑配置文件

[atguigu@hadoop102 group2]$ vim flume-flume-console1.conf


添加如下内容

# Name the components on this agent
a2.sources = r1
a2.sinks = k1
a2.channels = c1
# Describe/configure the source
a2.sources.r1.type = avro
a2.sources.r1.bind = hadoop102
a2.sources.r1.port = 4141
# Describe the sink
a2.sinks.k1.type = logger
# Describe the channel
a2.channels.c1.type = memory
a2.channels.c1.capacity = 1000
a2.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1


3.创建 flume-flume-console2.conf


配置上级 Flume 输出的 Source，输出是到本地控制台。


编辑配置文件

[atguigu@hadoop102 group2]$ vim flume-flume-console2.conf


添加如下内容

# Name the components on this agent
a3.sources = r1
a3.sinks = k1
a3.channels = c2
# Describe/configure the source
a3.sources.r1.type = avro
a3.sources.r1.bind = hadoop102
a3.sources.r1.port = 4142
# Describe the sink
a3.sinks.k1.type = logger
# Describe the channel
a3.channels.c2.type = memory
a3.channels.c2.capacity = 1000
a3.channels.c2.transactionCapacity = 100
# Bind the source and sink to the channel
a3.sources.r1.channels = c2
a3.sinks.k1.channel = c2


4.执行配置文件


分别开启对应配置文件：flume-flume-console2，flume-flume-console1，flume-netcat-flume。

[atguigu@hadoop102 flume]$ bin/flume-ng agent --conf conf/ --name 
a3 --conf-file job/group2/flume-flume-console2.conf -
Dflume.root.logger=INFO,console
[atguigu@hadoop102 flume]$ bin/flume-ng agent --conf conf/ --name 
a2 --conf-file job/group2/flume-flume-console1.conf -
Dflume.root.logger=INFO,console
[atguigu@hadoop102 flume]$ bin/flume-ng agent --conf conf/ --name 
a1 --conf-file job/group2/flume-netcat-flume.conf


5.使用 netcat 工具向本机的 44444 端口发送内容

$ nc localhost 44444


6.查看 Flume2 及 Flume3 的控制台打印日志


7.将 Flume2 kill，观察 Flume3 的控制台打印情况。


注：使用 jps -ml 查看 Flume 进程。


三、聚合

1）案例需求


hadoop102 上的 Flume-1 监控文件/opt/module/data/group.log，hadoop103 上的 Flume-2 监控某一个端口的数据流，Flume-1 与 Flume-2 将数据发送给 hadoop104 上的 Flume-3，Flume-3 将最终数据打印到控制台。


2）需求分析


多数据源汇总


20200408122312493.png


3）实现步骤：


0.准备工作


分发 Flume

[atguigu@hadoop102 module]$ xsync flume


在 hadoop102、hadoop103 以及 hadoop104 的/opt/module/flume/job目录下创建一个 group3文件夹。

[atguigu@hadoop102 job]$ mkdir group3
[atguigu@hadoop103 job]$ mkdir group3
[atguigu@hadoop104 job]$ mkdir group3


1.创建 flume1-logger-flume.conf


配置 Source 用于监控 hive.log 文件，配置 Sink 输出数据到下一级 Flume。 在 hadoop102 上编辑配置文件

[atguigu@hadoop102 group3]$ vim flume1-logger-flume.conf


添加如下内容

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /opt/module/group.log
a1.sources.r1.shell = /bin/bash -c
# Describe the sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop104
a1.sinks.k1.port = 4141
# Describe the channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1


2.创建 flume2-netcat-flume.conf


配置 Source 监控端口 44444 数据流，配置 Sink 数据到下一级 Flume： 在 hadoop103 上编辑配置文件

[atguigu@hadoop102 group3]$ vim flume2-netcat-flume.conf


添加如下内容

# Name the components on this agent
a2.sources = r1
a2.sinks = k1
a2.channels = c1
# Describe/configure the source
a2.sources.r1.type = netcat
a2.sources.r1.bind = hadoop103
a2.sources.r1.port = 44444
# Describe the sink
a2.sinks.k1.type = avro
a2.sinks.k1.hostname = hadoop104
a2.sinks.k1.port = 4141
# Use a channel which buffers events in memory
a2.channels.c1.type = memory
a2.channels.c1.capacity = 1000
a2.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1


3.创建 flume3-flume-logger.conf


配置 source 用于接收 flume1 与 flume2 发送过来的数据流，最终合并后 sink 到控制台。

在 hadoop104 上编辑配置文件

[atguigu@hadoop104 group3]$ touch flume3-flume-logger.conf
[atguigu@hadoop104 group3]$ vim flume3-flume-logger.conf


添加如下内容

# Name the components on this agent
a3.sources = r1
a3.sinks = k1
a3.channels = c1
# Describe/configure the source
a3.sources.r1.type = avro
a3.sources.r1.bind = hadoop104
a3.sources.r1.port = 4141
# Describe the sink
# Describe the sink
a3.sinks.k1.type = logger
# Describe the channel
a3.channels.c1.type = memory
a3.channels.c1.capacity = 1000
a3.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a3.sources.r1.channels = c1
a3.sinks.k1.channel = c1


4.执行配置文件


分别开启对应配置文件：flume3-flume-logger.conf，flume2-netcat-flume.conf，flume1-logger-flume.conf。

[atguigu@hadoop104 flume]$ bin/flume-ng agent --conf conf/ --name 
a3 --conf-file job/group3/flume3-flume-logger.conf -
Dflume.root.logger=INFO,console
[atguigu@hadoop102 flume]$ bin/flume-ng agent --conf conf/ --name 
a2 --conf-file job/group3/flume1-logger-flume.conf
[atguigu@hadoop103 flume]$ bin/flume-ng agent --conf conf/ --name 
a1 --conf-file job/group3/flume2-netcat-flume.conf


5．在 hadoop103 上向/opt/module 目录下的 group.log 追加内容

[atguigu@hadoop103 module]$ echo 'hello' > group.log


6．在 hadoop102 上向 44444 端口发送数据

[atguigu@hadoop102 flume]$ telnet hadoop102 44444


7.检查 hadoop104 上数据


四、自定义 Interceptor

1）案例需求


使用 Flume 采集服务器本地日志，需要按照日志类型的不同，将不同种类的日志发往不同的分析系统。


2）需求分析


在实际的开发中，一台服务器产生的日志类型可能有很多种，不同类型的日志可能需要发送到不同的分析系统。此时会用到 Flume 拓扑结构中的Multiplexing 结构，Multiplexing的原理是，根据 event 中 Header 的某个 key 的值，将不同的 event 发送到不同的 Channel中，所以我们需要自定义一个 Interceptor，为不同类型的 event 的 Header 中的 key 赋予不同的值。


在该案例中，我们以端口数据模拟日志，以数字（单个）和字母（单个）模拟不同类型的日志，我们需要自定义 interceptor 区分数字和字母，将其分别发往不同的分析系统（Channel）。


20200408125605205.png


3）实现步骤


1.创建一个 maven 项目，并引入以下依赖。


<dependency>
 <groupId>org.apache.flume</groupId>
 <artifactId>flume-ng-core</artifactId>
 <version>1.7.0</version>
</dependency>


2.定义 CustomInterceptor 类并实现 Interceptor 接口。


package com.atguigu.flume.interceptor;
import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.interceptor.Interceptor;
import java.util.List;
public class CustomInterceptor implements Interceptor {
 @Override
 public void initialize() {
 }
 @Override
 public Event intercept(Event event) {
 byte[] body = event.getBody();
 if (body[0] < 'z' && body[0] > 'a') {
 event.getHeaders().put("type", "letter");
 } else if (body[0] > '0' && body[0] < '9') {
 event.getHeaders().put("type", "number");
 }
 return event;
 }
 @Override
 public List<Event> intercept(List<Event> events) {
 for (Event event : events) {
 intercept(event);
 }
 return events;
 }
 @Override
 public void close() {
 }
 public static class Builder implements Interceptor.Builder {
 @Override
 public Interceptor build() {
 return new CustomInterceptor();
 }
 @Override
 public void configure(Context context) {
 }
 } }


3.编辑 flume 配置文件


为 hadoop102 上的 Flume1 配置 1 个 netcat source，1 个 sink group（2 个 avro sink），

并配置相应的 ChannelSelector 和 interceptor。

# Name the components on this agent
a1.sources = r1
a1.sinks = k1 k2
a1.channels = c1 c2
# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = 
com.atguigu.flume.interceptor.CustomInterceptor$Builder
a1.sources.r1.selector.type = multiplexing
a1.sources.r1.selector.header = type
a1.sources.r1.selector.mapping.letter = c1
a1.sources.r1.selector.mapping.number = c2
# Describe the sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop103
a1.sinks.k1.port = 4141
a1.sinks.k2.type=avro
a1.sinks.k2.hostname = hadoop104
a1.sinks.k2.port = 4242
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Use a channel which buffers events in memory
a1.channels.c2.type = memory
a1.channels.c2.capacity = 1000
a1.channels.c2.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1 c2
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c2


为 hadoop103 上的 Flume2 配置一个 avro source 和一个 logger sink。

a1.sources = r1
a1.sinks = k1
a1.channels = c1
a1.sources.r1.type = avro
a1.sources.r1.bind = hadoop103
a1.sources.r1.port = 4141
a1.sinks.k1.type = logger
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
a1.sinks.k1.channel = c1
a1.sources.r1.channels = c1


为 hadoop104 上的 Flume3 配置一个 avro source 和一个 logger sink。

a1.sources = r1
a1.sinks = k1
a1.channels = c1
a1.sources.r1.type = avro
a1.sources.r1.bind = hadoop104
a1.sources.r1.port = 4242
a1.sinks.k1.type = logger
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
a1.sinks.k1.channel = c1
a1.sources.r1.channels = c1


4.分别在 hadoop102，hadoop103，hadoop104 上启动 flume 进程，注意先后顺序。


5.在 hadoop102 使用 netcat 向 localhost:44444 发送字母和数字。


6.观察 hadoop103 和 hadoop104 打印的日志。


文章标签：
日志服务
Java
分布式计算
SQL
监控
负载均衡
Hadoop
HIVE
Maven
存储
关键词：
Flume实战
Flume source
Flume企业开发实战
Flume企业
Flume sink
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
云祁
目录
相关文章
长梦
|
6天前
|
数据采集 消息中间件 监控
Flume数据采集系统设计与配置实战：面试经验与必备知识点解析
【4月更文挑战第9天】本文深入探讨Apache Flume的数据采集系统设计，涵盖Flume Agent、Source、Channel、Sink的核心概念及其配置实战。通过实例展示了文件日志收集、网络数据接收、命令行实时数据捕获等场景。此外，还讨论了Flume与同类工具的对比、实际项目挑战及解决方案，以及未来发展趋势。提供配置示例帮助理解Flume在数据集成、日志收集中的应用，为面试准备提供扎实的理论与实践支持。
长梦
39 1
Cool架构
|
6天前
|
存储 SQL Shell
bigdata-13-Flume实战
bigdata-13-Flume实战
Cool架构
27 0
赵广陆
|
8月前
|
SQL 存储 监控
大数据Flume企业开发实战
大数据Flume企业开发实战
赵广陆
38 0
爱吃糖的范同学
|
6天前
|
监控 Apache
【Flume】 Flume 区别分析：ExecSource、Spooldir Source、Taildir Source
【4月更文挑战第4天】 Flume 区别分析：ExecSource、Spooldir Source、Taildir Source
爱吃糖的范同学
49 6
Maynor
|
6天前
|
SQL 数据采集 数据挖掘
nginx+flume网络流量日志实时数据分析实战
nginx+flume网络流量日志实时数据分析实战
Maynor
114 0
热烈的马
|
6天前
|
消息中间件 分布式计算 大数据
【大数据技术】Spark+Flume+Kafka实现商品实时交易数据统计分析实战（附源码）
【大数据技术】Spark+Flume+Kafka实现商品实时交易数据统计分析实战（附源码）
热烈的马
102 0
星光下的赶路人
|
9月前
|
存储 Java 分布式数据库
Flume学习---3、自定义Interceptor、自定义Source、自定义Sink
Flume学习---3、自定义Interceptor、自定义Source、自定义Sink
星光下的赶路人
84 0
安然AR
|
11月前
|
数据采集 大数据 数据处理
大数据数据采集的数据采集（收集/聚合）的Flume之数据采集流程的Interceptor的Regex Interceptor
大数据的发展让数据采集变得越来越重要，而Flume则是一款非常优秀的开源数据采集工具。在Flume中，Interceptor是一个非常重要的概念，可以对数据进行拦截、过滤和转换，从而实现更加灵活高效的数据采集流程。
安然AR
63 0
安然AR
|
11月前
|
数据采集 存储 大数据
大数据数据采集的数据采集（收集/聚合）的Flume之数据采集流程的Interceptor的Static Interceptor
对于大数据领域的数据采集，Flume是一款非常流行的工具。Flume通过它的各个组件来辅助进行数据采集、传输和存储，其中Interceptor是一个非常重要的组件。本文将会对Flume之数据采集流程的Interceptor的Static Interceptor进行详细介绍。
安然AR
110 0
安然AR
|
11月前
|
数据采集 存储 数据挖掘
大数据数据采集的数据采集（收集/聚合）的Flume之数据采集流程的Interceptor的Timestamp Interceptor
大数据数据采集的重要性在现代企业中逐渐得到了越来越多的关注，其中Flume是一个非常受欢迎的工具。Flume通过它的各个组件来辅助进行数据采集、传输和存储，这些组件包含了Source、Channel和Sink，而Interceptor也是其中一个非常重要的组件，本文将会对Flume之数据采集流程的Interceptor的Timestamp Interceptor进行详细介绍。
安然AR
153 0

热门文章

最新文章

  • 1
    Flume NG 简介及配置实战
  • 2
    flume java介绍
  • 3
    探秘Hadoop生态12：分布式日志收集系统Flume
  • 4
    玩转Flume之核心架构深入解析
  • 5
    flume channel monitor实现源码分析
  • 6
    Apache Flume - File通道设计
  • 7
    flume源码学习2-服务管理实现
  • 8
    flume源码学习9-HDFSEventSink实现
  • 9
    08【在线日志分析】之Flume Agent(聚合节点) sink to kafka cluster
  • 10
    【Flume】HDFSSink源码理解
  • 1
    Flume【付诸实践 01】flume1.9.0版 配置格式说明+常用案例分享（ExecSource+SpoolingDirectorySource+HDFSSink+AvroSourceSink）
    39
  • 2
    Flume【基础知识 01】简介 + 基本架构及核心概念 + 架构模式 + Agent内部原理 + 配置格式（一篇即可入门Flume）
    523
  • 3
    Flume【问题记录 02】【java.lang.NoSuchMethodError:com.google.common.base.Preconditions.checkArgument】【避坑指南】
    18
  • 4
    Flume【问题记录 01】【at org.apache.flume.node.Application.main(Application.java:xxx) 类问题整理+其他类型问题总结】【避坑指南】
    85
  • 5
    Flume【部署 02】Flume监控工具Ganglia的安装与配置（CentOS 7.5 在线安装系统监控工具Ganglia + 权限问题处理 + Flume接入监控配置 + 图例说明）
    54
  • 6
    Flume系统
    35
  • 7
    flume之avro实践
    46
  • 8
    flume的log4j.properties配置说明
    28
  • 9
    flume采集的一些特性
    12
  • 10
    使用wrapper把flume做成服务优化篇
    16

    • 相关课程

    更多
  • Flume基础应用实战 - 企业全场景解决方案
  • 数据采集系统 Flume 快速入门
  • 分布式消息系统 Kafka 快速入门
  • Apache Flink 入门

    • 相关电子书

    更多
  • Dataflow with Apache NiFi
  • 《Apache RocketMQ 源码解析》
  • 《基于 Flink 的全新 Pulsar Connector 的设计、开发和使用》
    • 下一篇
    2024年阿里云免费云服务器及学生云服务器申请教程参考