大数据组件-Flume集群环境的启动与验证

简介: 大数据组件-Flume集群环境的启动与验证


1.环境介绍


本次用到的环境有:

Oracle Linux 7.4,三台虚拟机,分别为master,slave1,slave2

JDK1.8.0_144

Hadoop2.7.4集群环境

Flume1.6.0


2.Flume集群环境的启动与验证


1.在master机上启动flume

/opt/flume/bin/flume-ng agent -n a1 -c conf -f /opt/flume/conf/master.conf -Dflume.root.logger=INFO,console &



2.切换slave1,启动slave1上的flume

/opt/flume/bin/flume-ng agent -n a1 -c conf -f /opt/flume/conf/slave.conf -Dflume.root.logger=INFO,console &


3.切换至slave2,启动slave2上的flume

/opt/flume/bin/flume-ng agent -n a1 -c conf -f /opt/flume/conf/slave.conf -Dflume.roo

4.切换至”从节点1,双击桌面上的“Xfce终端”图标重新打开一个命令窗口。

5.新建立文件slave1.txt,输入如下内容,拷贝至flume的logs目录。

vi slave1.txt

I'm slave1

6.按键Esc,按键”:wq!”保存退出。

7.拷贝文件slave1.txt至flume的logs目录。

cp slave1.txt /root/flume/logs


8.切换至”主节点“,查看master机的启动命令窗口,会看到写入描述。

9.在“主节点”,双击桌面上的“Xfce终端”图标重新打开一个命令窗口。

10.在“主节点”新打开一个命令窗口中查看HDFS日志上传情况列表。

hadoop dfs -lsr /flume


11.查看HDFS列表中日志的内容,即上一步截图中红框中的文件内容。注意:这个日志文件每次上传名会不一样,本次查询文件名为上图红框所示。

hadoop dfs -cat /flume/events/root/events-.1553582353270

12.切换至”从节点2“,双击桌面上的“Xfce终端”图标重新打开一个命令窗口。

13.新建立文件slave2.txt,输入如下内容,拷贝至flume的logs目录。

vi slave2.txt

I'm slave2

14.按键Esc,按键”:wq!”保存退出。

15.拷贝文件slave2.txt至flume的logs目录。

cp slave2.txt /root/flume/logs

16.切换至”主节点“,查看master机的启动命令窗口,会看到写入描述,此时表示新内容写入HDFS完成,然后可查看HDFS里新加的内容。


17.在“主节点”,双击桌面上的“Xfce终端”图标重新打开一个命令窗口。


18.在“主节点”新打开一个命令窗口中查看HDFS日志上传情况列表。

hadoop dfs -lsr /flume

19.查看HDFS日志上传列表中日志的内容,即上一步截图中红框中的文件内容。注意:这个日志文件每次上传名会不一样,本次查询文件名为上图红框所示。

hadoop dfs -cat /flume/events/root/events-.1553583628068

至此,Flume集群环境的启动与验证就到此结束了

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
6月前
|
数据采集 缓存 大数据
【赵渝强老师】大数据日志采集引擎Flume
Apache Flume 是一个分布式、可靠的数据采集系统,支持从多种数据源收集日志信息,并传输至指定目的地。其核心架构由Source、Channel、Sink三组件构成,通过Event封装数据,保障高效与可靠传输。
383 1
|
SQL 数据采集 分布式计算
【赵渝强老师】基于大数据组件的平台架构
本文介绍了大数据平台的总体架构及各层的功能。大数据平台架构分为五层:数据源层、数据采集层、大数据平台层、数据仓库层和应用层。其中,大数据平台层为核心,负责数据的存储和计算,支持离线和实时数据处理。数据仓库层则基于大数据平台构建数据模型,应用层则利用这些模型实现具体的应用场景。文中还提供了Lambda和Kappa架构的视频讲解。
1422 3
【赵渝强老师】基于大数据组件的平台架构
|
存储 分布式计算 Java
踏上大数据第一步:flume
Flume 是一个分布式、可靠且高效的系统,用于收集、聚合和移动大量日志数据。它是 Apache 顶级项目,广泛应用于 Hadoop 生态系统中。Flume 支持从多种数据源(如 Web 服务器、应用服务器)收集日志,并将其传输到中央存储(如 HDFS、HBase)。其核心组件包括 Source、Channel 和 Sink,分别负责数据获取、临时存储和最终存储。本文还介绍了在 Ubuntu 20.04 上安装 Flume 1.9.0 的步骤,涵盖 JDK 安装、Flume 下载、解压、配置环境变量及验证安装等详细过程。
405 10
|
存储 分布式计算 大数据
Flume+Hadoop:打造你的大数据处理流水线
本文介绍了如何使用Apache Flume采集日志数据并上传至Hadoop分布式文件系统(HDFS)。Flume是一个高可用、可靠的分布式系统,适用于大规模日志数据的采集和传输。文章详细描述了Flume的安装、配置及启动过程,并通过具体示例展示了如何将本地日志数据实时传输到HDFS中。同时,还提供了验证步骤,确保数据成功上传。最后,补充说明了使用文件模式作为channel以避免数据丢失的方法。
835 4
|
SQL 存储 分布式计算
大数据-157 Apache Kylin 背景 历程 特点 场景 架构 组件 详解
大数据-157 Apache Kylin 背景 历程 特点 场景 架构 组件 详解
355 9
|
消息中间件 监控 Java
大数据-109 Flink 体系结构 运行架构 ResourceManager JobManager 组件关系与原理剖析
大数据-109 Flink 体系结构 运行架构 ResourceManager JobManager 组件关系与原理剖析
323 1
|
SQL 分布式计算 大数据
【赵渝强老师】大数据生态圈中的组件
本文介绍了大数据体系架构中的主要组件,包括Hadoop、Spark和Flink生态圈中的数据存储、计算和分析组件。数据存储组件包括HDFS、HBase、Hive和Kafka;计算组件包括MapReduce、Spark Core、Flink DataSet、Spark Streaming和Flink DataStream;分析组件包括Hive、Spark SQL和Flink SQL。文中还提供了相关组件的详细介绍和视频讲解。
1031 0
|
存储 分布式计算 监控
【Flume】Flume 监听日志文件案例分析
【4月更文挑战第4天】【Flume】Flume 监听日志文件案例分析
|
存储 运维 监控
【Flume】flume 日志管理中的应用
【4月更文挑战第4天】【Flume】flume 日志管理中的应用
|
消息中间件 数据采集 SQL
1、电商数仓(用户行为采集平台)数据仓库概念、用户行为日志、业务数据、模拟数据、用户行为数据采集模块、日志采集Flume(一)
1、电商数仓(用户行为采集平台)数据仓库概念、用户行为日志、业务数据、模拟数据、用户行为数据采集模块、日志采集Flume(一)
下一篇
开通oss服务