开发者社区> 颜学长> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

大数据基础-Flume初体验

简介: Flume初体验
+关注继续查看

官方文档

打开官方文档,User Guide模块

image

一个简单的案例

image

# example.conf: A single-node Flume configuration

# Name the components on this agent

a1.sources = r1

a1.sinks = k1

a1.channels = c1

# Describe/configure the source

a1.sources.r1.type = netcat

a1.sources.r1.bind = localhost

a1.sources.r1.port = 44444

# Describe the sink

a1.sinks.k1.type = logger

# Use a channel which buffers events in memory

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

这个例子中首先定义了source的名字、sink的名字还有channel的名字

下面配置source的相关参数

下面配置了sink的相关参数

接着配置了channel的相关参数

最后把这三个组件连接到了一起,就是告诉source需要向哪个channel写入数据,告诉sink需要从哪个 channel读取数据,这样source、channel、sink这三个组件就联通了。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Hadoop大数据生态组件环境安装
首先安装Centos系统修改网络配置 我的三台机器: master 192.168.179.10 slave1 192.168.179.11 slava2 192.168.179.12
0 0
大数据面试--flume
flume,大数据面试,大数据
0 0
大数据_Hadoop初体验
hadoop指的是Apache一款java开源软件,是一个大数据分析处理平台。
0 0
中国民生银行大数据团队的Flume实践
转载自:AI前线 中国民生银行服务器的操作系统种类众多,除 Linux 外,部分生产系统仍采用 AIX 和 HP-UNIX 操作系统,由于在 AIX 和 HP-UNIX 无法使用 Logstash 作为日志采集端,在大数据基础平台产品团队经过一系列选型后,采用 Flume 作为 AIX 和 HP-UNIX 操作系统上日志采集端。
1541 0
大数据组件Flume总结(原创)
1)见思维导图         https://share.mindmanager.com/#publish/H_yLoCb7JMY6Qh6unY5qw4wtlpbDjA8xCIqlxYGd
547 0
+关注
文章
问答
文章排行榜
最热
最新
相关电子书
更多
基于ELK的大数据平台实践分享
立即下载
第十二届 BigData NoSQL Meetup — 流式数据的平台化实践与挑战
立即下载
CarbonData:大数据交互式分析实践
立即下载