Flume的Collector

简介:

Collector的作用是将多个Agent的数据汇总后,加载到Storage中。它的source和sink与agent类似。

 

数据源(source),如:

  collectorSource[(port)]:Collector source,监听端口汇聚数据。

  autoCollectorSource:通过master协调物理节点自动汇聚数据。

  logicalSource:逻辑source,由master分配端口并监听rpcSink。

 

sink,如:
collectorSink( “fsdir”,”fsfileprefix”,rollmillis):collectorSink,数据通过collector汇聚之后发送到hdfs, fsdir 是hdfs目录,fsfileprefix为文件前缀码。

  customdfs(“hdfspath”[, "format"]):自定义格式dfs。


本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/6784963.html,如需转载请自行联系原作者

相关文章
|
6月前
|
存储 运维 监控
【Flume】flume 日志管理中的应用
【4月更文挑战第4天】【Flume】flume 日志管理中的应用
|
6月前
|
SQL 分布式计算 监控
|
数据采集 负载均衡
什么是flume?
什么是flume?
56 0
|
6月前
|
JSON 分布式计算 Hadoop
Avro(flume)
Avro(flume)
|
6月前
|
存储 分布式计算 监控
Flume(一)【Flume 概述】
Flume(一)【Flume 概述】
|
数据采集 SQL 消息中间件
60 Flume介绍
60 Flume介绍
39 0
|
消息中间件 关系型数据库 MySQL
flume
flume
66 0
|
消息中间件 存储 分布式计算
flume应该思考的问题
flume应该思考的问题
189 0
flume应该思考的问题
|
流计算