Event:一条数据
Client:生产数据，运行在一个独立的线程。
Agent
（1）Sources、Channels、Sinks
（2）其他组件：Interceptors、Channel Selectors、Sink Processor。
本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/6784945.html，如需转载请自行联系原作者
Flume的核心概念
2017-11-13
1205
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
目录
相关文章
|
6月前
|
存储
数据采集
监控
Flume 拦截器概念及自定义拦截器的运用
Apache Flume 的拦截器是事件处理组件，位于Source和Channel之间，用于在写入Channel前对数据进行转换、提取或删除。它们支持数据处理和转换、数据增强、数据过滤以及监控和日志功能。要创建自定义拦截器，需实现Interceptor接口，包含initialize、intercept、intercept(List<Event>)和close方法。配置拦截器时，通过Builder模式实现Interceptor.Builder接口。在Flume配置文件中指定拦截器全类名，如`TestInterceptor$Builder`，然后启动Flume进行测试。
152
0
0
|
6月前
|
消息中间件
存储
SQL
Flume【基础知识 01】简介 + 基本架构及核心概念 + 架构模式 + Agent内部原理 + 配置格式（一篇即可入门Flume）
【2月更文挑战第18天】Flume【基础知识 01】简介 + 基本架构及核心概念 + 架构模式 + Agent内部原理 + 配置格式（一篇即可入门Flume）
1662
0
0
|
数据采集
消息中间件
分布式计算
大数据数据采集的数据采集（收集/聚合）的Flume之概念
在大数据应用中，数据采集是非常重要的一步。Flume是一个开源的分布式系统，可以帮助企业完成数据采集、收集和聚合等操作，并将它们发送到后续处理系统中。
279
0
0
|
存储
消息中间件
缓存
Flume核心概念
Flume 是一个分布式、可靠、高可用的服务，它能够将不同数据源的海量日志数据进行高效收集、汇聚、移动，最后存储到一个中心化数据存储系统（HDFS、 HBase等）中，它是一个轻量级的工具，简单、灵活、容易部署，适应各种方式日志收集并支持 failover 和负载均衡。
188
0
0
|
存储
负载均衡
监控
Flume NG基本架构与Flume NG核心概念
1089
0
0
|
6月前
|
存储
分布式计算
监控
|
6月前
|
存储
运维
监控
|
消息中间件
数据采集
SQL
1、电商数仓（用户行为采集平台）数据仓库概念、用户行为日志、业务数据、模拟数据、用户行为数据采集模块、日志采集Flume（一）
1、电商数仓（用户行为采集平台）数据仓库概念、用户行为日志、业务数据、模拟数据、用户行为数据采集模块、日志采集Flume（一）
613
0
0
|
3月前
|
存储
数据采集
数据处理
【Flume拓扑揭秘】掌握Flume的四大常用结构，构建强大的日志收集系统！
【8月更文挑战第24天】Apache Flume是一个强大的工具，专为大规模日志数据的收集、聚合及传输设计。其核心架构包括源（Source）、通道（Channel）与接收器（Sink）。Flume支持多样化的拓扑结构以适应不同需求，包括单层、扇入（Fan-in）、扇出（Fan-out）及复杂多层拓扑。单层拓扑简单直观，适用于单一数据流场景；扇入结构集中处理多源头数据；扇出结构则实现数据多目的地分发；复杂多层拓扑提供高度灵活性，适合多层次数据处理。通过灵活配置，Flume能够高效构建各种规模的数据收集系统。
55
0
0
|
23天前
|
SQL
分布式计算
Hadoop
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
38
2
2
热门文章
最新文章
1
Flume NG 简介及配置实战
2
flume java介绍
3
模拟使用Flume监听日志变化，并且把增量的日志文件写入到hdfs中
4
【大数据新手上路】“零基础”系列课程--Flume收集网站日志数据到MaxCompute
5
flume1.6 centos6.x 安装与配置
6
08【在线日志分析】之Flume Agent(聚合节点) sink to kafka cluster
7
如何查看spark与hadoop、kafka、Scala、flume、hive等兼容版本【适用于任何版本】
8
flume详细介绍，安装，配置
9
【Flume】HDFSSink源码理解
10
CentOS 7部署flume
1
Flume【付诸实践 01】flume1.9.0版 配置格式说明+常用案例分享（ExecSource+SpoolingDirectorySource+HDFSSink+AvroSourceSink）
110
2
Flume【基础知识 01】简介 + 基本架构及核心概念 + 架构模式 + Agent内部原理 + 配置格式（一篇即可入门Flume）
1662
3
Flume【问题记录 02】【java.lang.NoSuchMethodError:com.google.common.base.Preconditions.checkArgument】【避坑指南】
72
4
Flume【问题记录 01】【at org.apache.flume.node.Application.main(Application.java:xxx) 类问题整理+其他类型问题总结】【避坑指南】
265
5
Flume【部署 02】Flume监控工具Ganglia的安装与配置（CentOS 7.5 在线安装系统监控工具Ganglia + 权限问题处理 + Flume接入监控配置 + 图例说明）
178
6
Flume【环境搭建 01】CentOS Linux release 7.5 安装配置 apache-flume-1.9.0 并验证
117
7
Flume系统
72
8
flume之avro实践
126
9
flume的log4j.properties配置说明
76
10
flume采集的一些特性
32