0x01 Flume的获取
1. 官网下载
a. 为了统一,此处下载HBase1.2.6版本 :
http://archive.apache.org/dist/flume
选择1.8.0/apache-flume-1.8.0-bin.tar.gz进行下载
或者,点击下列链接:
http://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz
0x02 上传安装包到集群
1. 上传安装包到虚拟机
PS:如果不是docker部署的集群,则直接上传到虚拟机即可,因为,每台虚拟机就是一个节点。
2. 复制安装包到master节点
docker cp apache-flume-1.8.0-bin.tar.gz hadoop-master:/root
sh ~/master.sh
0x03 安装Flume集群
1. 解压Flume
a. 解压安装包(-C为指定解压到/usr/local路径)
tar -zxvf apache-flume-1.8.0-bin.tar.gz -C /usr/local
2. 配置Flume
a. 修改配置文件 flume-env.sh($FLUME_HOME/conf):
cd /usr/local/apache-flume-1.8.0-bin/conf
cp flume-env.sh.template flume-env.sh
vi flume-env.sh
添加内容:
export JAVA_HOME=/usr/local/jdk1.8.0_161/
b. 配置环境变量(可看到docker生成节点时默认配好的其他环境变量)
vi /etc/profile
export FLUME_HOME=/usr/local/apache-flume-1.8.0-bin export PATH=$PATH:$FLUME_HOME/bin
使配置生效(echo一下有内容输入,说明已经配好)
source /etc/profile
3. 在同步Flume到slave1、slave2
a. 将apache-flume-1.8.0-bin拷贝到slave1和slave2上
scp -r /usr/local/apache-flume-1.8.0-bin root@hadoop-slave1:/usr/local/
scp -r /usr/local/apache-flume-1.8.0-bin root@hadoop-slave2:/usr/local/
ps:如遇到下面这个问题,则登录slave1、slave2
启动ssh服务:
b. 配置slave1、slave2的环境变量,记得要source一下
0x04 Flume集群校验
1. 查看Flume版本号
a. 分别在master、slave1、slave2上执行:
flume-ng version
如果都可查看到版本号:Flume 1.8.0,说明已经安装成功!
b. 如果出现下面的错误信息,这是因为与HBase发生了配置冲突,需要修改一下:
解决:把之前在$HBASE_HOME/conf/hbase-env.sh的这句注释掉
export HBASE_CLASSPATH=/usr/local/hadoop-2.7.5/etc/hadoop
重新执行就没有报错了!
或者,将HBASE_CLASSPATH改为JAVA_CLASSPATH,配置如下
export JAVA_CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
0xFF 总结
- 本次安装Flume集群,其实就只是在各节点上都安装好Flume,而在使用的过程中,也是分节点执行。