docker 部署 hadoop集群

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
注册配置 MSE Nacos/ZooKeeper,118元/月
MSE Nacos 企业版免费试用,1600元额度,限量50份
简介: docker 部署 hadoop集群

docker 安装

curl -sSL https://get.daocloud.io/docker | sh
##换源 
curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s http://67e93489.m.daocloud.io
systemctl restart docker

拉取镜像

docker pull docker pull centos
# 查看镜像是否拉取成功
docker images

创建容器

#设置固定IP
docker network create --subnet=172.16.0.0/16 huan-net
#创建容器
#cluster-master
docker run -d --privileged -ti -v /sys/fs/cgroup:/sys/fs/cgroup --name cluster-master -h cluster-master --net netgroup --ip 172.16.0.2 daocloud.io/library/centos /usr/sbin/init
#cluster-slaves
docker run -d --privileged -ti -v /sys/fs/cgroup:/sys/fs/cgroup --name cluster-slave1 -h cluster-slave1 --net netgroup --ip 172.16.0.3 daocloud.io/library/centos /usr/sbin/init
docker run -d --privileged -ti -v /sys/fs/cgroup:/sys/fs/cgroup --name cluster-slave2 -h cluster-slave2 --net netgroup --ip 172.16.0.4 daocloud.io/library/centos /usr/sbin/init
docker run -d --privileged -ti -v /sys/fs/cgroup:/sys/fs/cgroup --name cluster-slave3 -h cluster-slave3 --net netgroup --ip 172.16.0.5 daocloud.io/library/centos /usr/sbin/init

更换YUM源

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

部署Openssh

master
yum -y install openssh openssh-server openssh-clients
systemctl start sshd
vi /etc/ssh/ssh_config
#设置StrictHostKeyChecking为no
systemctl restart sshd
slave1
yum -y install openssh openssh-server openssh-clients
systemctl start sshd
slave2
yum -y install openssh openssh-server openssh-clients
systemctl start sshd
slave3
yum -y install openssh openssh-server openssh-clients
systemctl start sshd

公钥分发

ssh-keygen -t rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub <romte_ip>

zookeeper配置

master

将文件从主机复制到docker容器

sudo docker cp apache-zookeeper-3.5.5.tar.gz cluster-slave1:/root/tar

创建目录放置解压文件

mkdir /opt/zookeeper

解压

tar -xivf apache-zookeeper-3.5.5.tar.gz -C /opt/zookeeper/

创建zoo.cfg配置文件

cp /opt/zookeeper/apache-zookeeper-3.5.5/conf/zoo.cfg /opt/zookeeper/apache-zookeeper-3.5.5/conf/zoo.cfg

编辑zoo配置文件

vim /opt/zookeeper/apache-zookeeper-3.5.5/conf/zoo.cfg

添加结点参数

server.1=172.16.0.2:2888:3888
server.2=172.16.0.3:2899:3899
server.3=172.16.0.4:2877:3877

创建myid文件

echo 1 > /tmp/zookeeper/myid

编辑环境变量配置文件

vim ~/.bash_profile

添加环境变量

ZK_HOME=/opt/zookeeper/apache-zookeeper-3.5.5
PATH=$PATH:$ZK_HOME/bin

使配置生效

source ~/.bash_profile

将配置文件发送到slave1,slave2

scp -r ~/.bash_profile cluster-slave1:~/

scp -r ~/.bash_profile cluster-slave2:~/

scp -r /tmp/zookeeper/myid cluster-slave1:/tmp/zookeeper/

scp -r /tmp/zookeeper/myid cluster-slave2:/tmp/zookeeper/

scp -r zoo.cfg cluster-slave1:/opt/zookeeper/apache-zookeeper-3.5.5/conf/

scp -r zoo.cfg cluster-slave2:/opt/zookeeper/apache-zookeeper-3.5.5/conf/

slave1

使配置生效

source ~/.bash_profile

修改myid文件为2

slave2

修改myid文件为3

启动

zhServer.sh start

Hadoop配置

core-site.xml
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://jinbill</value>
  </property>
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>192.168.11.46:12181</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop</value>
  </property>
</configuration>
hdfs-site.xml
<configuration>
  <property>
    <name>dfs.nameservices</name>
    <value>jinbill</value>
  </property>
  <property>
    <name>dfs.ha.namenodes.jinbill</name>
    <value>nn1,nn2</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.jinbill.nn1</name>
    <value>cluster-master:8020</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.jinbill.nn2</name>
    <value>cluster-slave1:8020</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.shsxt.nn1</name>
    <value>cluster-master:50070</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.shsxt.nn2</name>
    <value>cluster-slave1:50070</value>
  </property>
  <property>
    <!-- 指定 namenode 元数据存储在 journalnode 中的路径 -->
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://cluster-slave1:8485;cluster-slave2:8485;cluster-slave3:8485/jinbill</value>
  </property>
  <property>
    <!-- 指定 HDFS 客户端连接 active namenode 的 java 类 -->
    <name>dfs.client.failover.proxy.provider.jinbill</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
  </value>
  </property>
  <property>
    <!-- 配置隔离机制为 ssh 防止裂 脑裂 -->
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
  </property>
  <property>
    <!-- 指定秘钥的位置 -->
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
  </property>
  <property>
    <!-- 指定 journalnode 日志文件存储的路径 -->
    <name>dfs.journalnode.edits.dir</name>
    <value>/opt/hadoop/data</value>
  </property>
  <property>
    <!-- 开启自动故障转移 -->
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
</configuration>
yarn-site.xml
<configuration>
  <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
  </property>
  <property>
     <name>yarn.resourcemanager.ha.enabled</name>
     <value>true</value>
  </property>
  <property>
     <name>yarn.resourcemanager.cluster-id</name>
     <value>mr_jinbill</value>
  </property>
  <property>
     <name>yarn.resourcemanager.ha.rm-ids</name>
     <value>rm1,rm2</value>
  </property>
  <property>
     <name>yarn.resourcemanager.hostname.rm1</name>
     <value>cluster-slave2</value>
  </property>
  <property>
     <name>yarn.resourcemanager.hostname.rm2</name>
     <value>cluster-slave3</value>
  </property>
  <property>
     <name>yarn.resourcemanager.zk-address</name>
     <value>192.168.11.46:12181</value>
  </property>
</configuration>
mapred-site.xml
<configuration>
   <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
   </property>
</configuration>
slaves
cluster-slave1
cluster-slave2
cluster-slave3
启动三个JornalNode

hadoop-daemon.sh start journalnode

在其中一个NameNode上格式化

hdfs namenode -format

把格式化后的元数据拷贝到另一个NameNode上

元数据初始化后会存放在 hadoop.tmp.dir 这个参数配置的地址下的叫dfs的目录里面,将这个目录复制到另一个NN的同目录下

启动刚刚格式化的NameNode

hadoop-daemon.sh start namenode

在没有格式化的NameNode上执行

hdfs namenode -bootstrapStandby

启动第二个NameNode

hadoop-daemon.sh start namenode

在其中一个NameNode上初始化zkfc

hdfs zkfc –formatZK

停止所有结点

stop-dfs.sh

全面启动

start-dfs.sh

start-yarn.sh

访问地址 50070端口和8088端口

因为我是跨域访问,所以用cmd添加一个路由 route add 172.16.0.0 mask 255.255.0.0 192.168.11.38 -p

  1. 网段地址
  2. 子网掩码
  3. 虚拟机地址,docker容器部署在该虚拟机上
效果展示

相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
目录
打赏
0
0
0
0
23
分享
相关文章
【Docker项目实战】使用Docker部署dufs文件服务器
【Docker项目实战】使用Docker部署dufs文件服务器
110 16
【Docker项目实战】使用Docker部署dufs文件服务器
用 Docker 轻松部署 ERPNext 15:多场景实战指南
ERPNext 15 是一款功能全面的开源企业资源规划系统,结合 Docker 容器化部署,具备高效、灵活、低成本等优势。适用于小微企业数字化起步、多分支机构协同办公、开发者测试环境搭建、短期项目管理及企业内部培训等多种场景。模块化设计支持按需扩展,满足不同规模企业需求,是实现高效企业管理的理想选择。
用 Docker 轻松部署 ERPNext 15:多场景实战指南
Docker 部署 Prometheus 和 Grafana 监控 Spring Boot 服务
Docker 部署 Prometheus 和 Grafana 监控 Spring Boot 服务实现步骤
静态资源管理:Nginx在Docker中的部署
部署Nginx到Docker中作为静态资源服务器是一种既简单又高效的方法,可以节省时间和资源,并能确保一致性和可扩展性。我们通过编写Dockerfile指定了基础镜像和所需指令,编写Nginx配置管理请求处理,构建自定义Docker镜像,并运行容器以启动服务。这一过程即符合开发规范,也保证了资源的高效管理和访问速度。
94 13
Rocky Linux 部署 Docker 和 NACOS 实例
本文介绍在阿里云环境下基于 Rocky Linux 搭建 Docker 并部署 Nacos 的完整流程。涵盖 Docker 安装、镜像加速配置、网络设置及 MySQL 与 Nacos 容器的创建,适用于开发与生产环境。
113 0
低配阿里云 ECS 如何 docker 环境部署 NACOS : 单机版模式
NACOS 单机版 Docker 安装指南。使用指定端口和 custom.env 配置文件启动 Nacos 服务,适用于 2.X 版本,包含 gRPC 支持及 MySQL 数据源配置。 -e MODE=standalone \
113 5
Docker化运维:容器部署的实践指南
Docker化运维:容器部署的实践指南
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问