【Flume中间件】(11)聚合组

本文涉及的产品
云原生网关 MSE Higress,422元/月
性能测试 PTS,5000VUM额度
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 【Flume中间件】(11)聚合组

聚合组

在生产中后台服务器很多,他们会将他们产生的数据传输到一个服务器进行聚合操作,下面配置的是服务器1和服务器2分别监控自己的文件,将监听到的数据统一发送到服务器3上完成聚合操作。

a1.sources = r1
a1.sinks = k1
a1.channels = c1
a1.sources.r1.type = taildir
# 文件读取位置信息路径
a1.sources.r1.positionFile = /opt/module/flume/position/position.json
# 配置两个组,分别监听两个文件
a1.sources.r1.filegroups = f1
a1.sources.r1.filegroups.f1 = /home/hadoop/data3/file5
a1.sinks.k1.type = avro
a1.sinks.k1.hostname=hadoop104
a1.sinks.k1.port=4141
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1   
a2.sources = r1
a2.sinks = k1
a2.channels = c1
a2.sources.r1.type = taildir
# 文件读取位置信息路径
a2.sources.r1.positionFile = /opt/module/flume/position/position.json
# 配置两个组,分别监听两个文件
a2.sources.r1.filegroups = f1
a2.sources.r1.filegroups.f1 = /home/hadoop/data3/file6
a2.sinks.k1.type = avro
a2.sinks.k1.hostname=hadoop104
a2.sinks.k1.port=4141
a2.channels.c1.type = memory
a2.channels.c1.capacity = 1000
a2.channels.c1.transactionCapacity = 100
a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1      
a3.sources = r1
a3.sinks = k1
a3.channels = c1
a3.sources.r1.type = avro
a3.sources.r1.bind=hadoop104
a3.sources.r1.port=4141
a3.sinks.k1.type = logger
a3.channels.c1.type = memory
a3.channels.c1.capacity = 1000
a3.channels.c1.transactionCapacity = 100
a3.sources.r1.channels = c1
a3.sinks.k1.channel = c1      


目录
相关文章
|
消息中间件 数据采集 存储
大数据数据采集的数据采集(收集/聚合)的Flume之数据采集流程的Channel的Kafka Channel
在大数据处理和管理中,数据采集是非常重要的一环。为了更加高效地进行数据采集,Flume作为一种流式数据采集工具得到了广泛的应用。其中,Flume的Channel模块是实现数据缓存和传输的核心模块之一。本文将介绍Flume中的Kafka Channel,讲解其数据采集流程。
188 0
|
SQL 存储 分布式计算
Flume学习---2、Flume进阶(事务)、负载均衡、故障转移、聚合
Flume学习---2、Flume进阶(事务)、负载均衡、故障转移、聚合
|
监控 负载均衡
Flume学习---2、Flume进阶(事务)、负载均衡、故障转移、聚合(二)
Flume学习---2、Flume进阶(事务)、负载均衡、故障转移、聚合(二)
|
SQL 存储 分布式计算
Flume学习---2、Flume进阶(事务)、负载均衡、故障转移、聚合(一)
Flume学习---2、Flume进阶(事务)、负载均衡、故障转移、聚合(一)
|
数据采集 大数据 数据处理
大数据数据采集的数据采集(收集/聚合)的Flume之数据采集流程的Interceptor的Regex Interceptor
大数据的发展让数据采集变得越来越重要,而Flume则是一款非常优秀的开源数据采集工具。在Flume中,Interceptor是一个非常重要的概念,可以对数据进行拦截、过滤和转换,从而实现更加灵活高效的数据采集流程。
81 0
|
数据采集 存储 大数据
大数据数据采集的数据采集(收集/聚合)的Flume之数据采集流程的Interceptor的Static Interceptor
对于大数据领域的数据采集,Flume是一款非常流行的工具。Flume通过它的各个组件来辅助进行数据采集、传输和存储,其中Interceptor是一个非常重要的组件。本文将会对Flume之数据采集流程的Interceptor的Static Interceptor进行详细介绍。
144 0
|
数据采集 存储 数据挖掘
大数据数据采集的数据采集(收集/聚合)的Flume之数据采集流程的Interceptor的Timestamp Interceptor
大数据数据采集的重要性在现代企业中逐渐得到了越来越多的关注,其中Flume是一个非常受欢迎的工具。Flume通过它的各个组件来辅助进行数据采集、传输和存储,这些组件包含了Source、Channel和Sink,而Interceptor也是其中一个非常重要的组件,本文将会对Flume之数据采集流程的Interceptor的Timestamp Interceptor进行详细介绍。
193 0
|
数据采集 缓存 大数据
大数据数据采集的数据采集(收集/聚合)的Flume之数据采集流程的Selector的多路复用模式
在大数据处理和管理中,数据采集是非常重要的一环。为了更加高效地进行数据采集,Flume作为一种流式数据采集工具得到了广泛的应用。其中,Flume的Sink Processor模块是实现数据输出和处理的核心模块之一。本文将介绍Flume中的Selector多路复用模式,讲解其数据采集流程。
168 0
|
数据采集 缓存 大数据
大数据数据采集的数据采集(收集/聚合)的Flume之数据采集流程的Selector的复制模式
在大数据处理和管理中,数据采集是非常重要的一环。为了更加高效地进行数据采集,Flume作为一种流式数据采集工具得到了广泛的应用。其中,Flume的Sink Processor模块是实现数据输出和处理的核心模块之一。本文将介绍Flume中的Selector复制模式,讲解其数据采集流程。
115 0
|
数据采集 缓存 大数据
大数据数据采集的数据采集(收集/聚合)的Flume之数据采集流程的Sink Processor的Failover Sink Processor
在大数据处理和管理中,数据采集是非常重要的一环。为了更加高效地进行数据采集,Flume作为一种流式数据采集工具得到了广泛的应用。其中,Flume的Sink Processor模块是实现数据输出和处理的核心模块之一。本文将介绍Flume中的Failover Sink Processor,讲解其数据采集流程。
94 0