前言
一键搭建 zookeeper/hadoop/hive/hbase/sqoop/kafka/spark/kylin
服务器资源
本地Mac有3个虚拟机 server1 192.168.84.128 server2 192.168.84.131 server3 192.168.84.132 yum install wget yum install unzip
安装docker
mkdir /opt/bigdata cd /opt/bigdata # 上传docker-hadoop-test.zip rz unzip docker-hadoop-test.zip cd /opt/bigdata/docker-hadoop-test chmod 777 docker.install.sh chmod 777 compose.install bash docker.install.sh bash compose.install systemctl start docker docker -v
安装zk
依次在3个服务器上做如下操作 chmod 777 zookeeper.sh # 修改下服务器ip vi zookeeper/instances.yml
./zookeeper.sh
确认是否启动成功
安装hadoop集群
思路
免密登陆
./hadoop/ssh下面默认有一份私钥、公钥 这里建议删除默认秘钥改为自己的私钥 秘钥生成方法参考hadoop-key.sh脚本
- 依赖资源包下载
链接:https://pan.baidu.com/s/1PtdIYT2Np4MfDg4oB08urw 密码:iu5w
下载之后根据启动脚本修改文件名后放入/hadoop/tar/即可
- 修改集群信息
修改hadoop/instances.yml，配置集群信息，用于生成hosts文件
编译镜像并上传阿里镜像库
分别在服务器上启动该docker镜像
cd /opt/bigdata/docker-hadoop-test ./hadoop.sh
截止目前搭建好了zk集群环境 将每一个大数据组件安装在了一个docker中
后记
下篇文章咱再介绍下 如何启动每一个组件及组件之间数据如何流转的
源码
https://gitee.com/pingfanrenbiji/docker-hadoop-test
