Hadoop HDFS分布式文件系统Docker版-阿里云开发者社区

一、Hadoop文件系统HDFS

构建单节点的伪分布式HDFS
构建4个节点的HDFS分布式系统

nameNode
secondnameNode
datanode1
datanode2

其中 datanode2动态节点，在HDFS系统运行时，==动态加入==。

二、Mac docker环境

通常在mac os上搭建开发环境是非常方便的，两个docker软件：

Docker for mac
Docker toolBox

如果你要在本机做开发，配置IDE环境，想要连接到Docker中，推荐使用Docker toolBOX。docker for mac 版本没有docker0网桥。

在mac系统上又运行了一层虚拟机，只有这层虚拟机可以直连到docker网络。强烈建议开发不要再找docker for mac连接docker0的方法了，这个坑已经浪费了很多人的时间。

如果mac系统版本在10.13 以上，还会遇到创建网卡失败的问题，要注意关闭系统安全特性设置。

sudo spctl --master-disable

感谢作者@
仰望神的光，《macOS 10.13 安装Virtualbox失败》，https://blog.csdn.net/u013247765/article/details/78176079
docker 常用命令的总结，会在文章末尾附录。

三、Docker 镜像

构建Hadoop镜像文件。构建docker image有2中方式，（1）docker commit保存现有环境生成image（2）Dockfile，docker build生成image。通过实验，构建Dockerfile的速度很快，而且支持环境变量，同步文件等方式。开始可以用commit不断调整，最后确定Dockfile内容。而且Dockerfile文件结构清晰，方便查看。

FROM       ubuntu:16.04
MAINTAINER wsn

RUN apt-get update

RUN apt-get install -y openjdk-8-jdk
RUN apt-get install -y vim
RUN apt install -y net-tools
RUN apt install -y iputils-ping 

RUN apt-get install -y openssh-server
RUN mkdir /var/run/sshd

RUN echo 'root:root' |chpasswd

RUN sed -ri 's/^PermitRootLogin\s+.*/PermitRootLogin yes/' /etc/ssh/sshd_config
RUN sed -ri 's/UsePAM yes/#UsePAM yes/g' /etc/ssh/sshd_config
RUN sed -ri 's/#   StrictHostKeyChecking ask/StrictHostKeyChecking no/' /etc/ssh/ssh_config

RUN mkdir /root/.ssh
RUN ssh-keygen -t rsa -P "" -f /root/.ssh/id_rsa
RUN cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
 
ENV JAVA_HOME /usr/lib/jvm/java-8-openjdk-amd64
ENV JRE_HOME /usr/lib/jvm/java-8-openjdk-amd64/jre
ENV PATH /opt/hadoop-2.6.5/bin:/opt/hadoop-2.6.5/sbin:/usr/lib/jvm/java-8-openjdk-amd64/bin:$PATH
ENV CLASSPATH ./:/usr/lib/jvm/java-8-openjdk-amd64/lib:/usr/lib/jvm/java-8-openjdk-amd64/jre/lib

ADD hadoop-2.6.5.tar.gz /opt/
EXPOSE 22

CMD  ["/usr/sbin/sshd", "-D"]

Dockerfile 解析

ubuntu 16.04 为基础镜像，开始开发之前一定要apt-get update。
PermitRootLogin、UsePAM、StrictHostKeyChecking 有关SSH的配置。
ssh-keygen 生成公钥，保存到authorized_keys中。
配置JDK,hadoop的环境变量。
hadoop-2.6.5.tar.gz 保存到与Dockerfile同一个目录，会自动解压到/opt目录下。注意hadoop的环境变量基石/opt/hadoop-2.6.5/bin下。

编译镜像，其中wsn/ubuntu_ssh_java_hadoop是镜像的名字，其中.代表当前目录。

docker bulid -t wsn/ubuntu_ssh_java_hadoop .

四、HDFS 伪分布式

HDFS系统中包括三种角色，namenode主控节点，datanode数据节点，secondenamenode主控节点的热备节点。伪分布式，就是在一台主机上启动3个进程，构建一套分布式系统。

在单节点上配置伪分布式很简单，修改 hadoop-env.sh，core-site.xml，hdfs-site.xml 。
core-site.xml包含2个属性，其中namenode代表节点hostname、域名，换成ip也可以；hadoop.tmp.dir是hadoop工作目录（可以设置docker volumn，实现持久化）。

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://namenode:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/tmp</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
  <property>
      <name>dfs.replication</name>
      <value>1</value>
  </property>
</configuration>

启动镜像

docker run --name namenode --rm wsn/ubuntu_ssh_java_hadoop

最后2步：

/opt/hadoop/bin/hadoop namenode -format
/opt/hadoop/sbin/start-hdfs.sh start

查看系统状态，jps会看到3个进程namenode，secondnamenode，datanode。

一些简单hdfs命令，这些命令可以帮助你对hdfs系统的测试。

hdfs dfs -ls /
hdfs dfs -mkdir /test
hdfs dfs -put 1.txt /test

五、Docker特性

（一）分层

docker系统采用了分层的设计思想，在docker中运行的修改是不会自动保存，你可以调用commit生成新的镜像。或者采用挂载数据卷的方式，将数据和系统分类，实现数据持久化。

刚刚接触Docker对分层的意义了解不深。在构建Dockerfile的时候，每个RUN命令会构建一个层，image按层存储，此时就产生不同的镜像引用了相同的层，节省了存储空间，实现image hub高效存储。

docker挂载文件、文件夹命令。

docker -v 宿主机路径：container路径 image

（二）网络与内嵌DNS

在docker环境中，可以创建一个子网络

docker network create --subnet=172.18.0.0/16 hadoopnet

在第二节中讨论过，我们希望能过访问这个网络，在主机上添加路由信息

sudo route -n add 172.18.0.0/24 192.168.99.100

此时，我们可以创建一台绑定网段、ip的主机了，

docker run -it --name namenode --hostname namenode --network  hadoopnet --ip 172.18.0.11 wsn/ubuntu_ssh_java_hadoop

当我们创建一台docker主机，设置了name、ip时，内嵌DNS提供了name和ip的解析，省却了修改hosts文件的麻烦。

（三）免密码登录

此例中，创建Dockerfile文件的时候，就生成了公钥，并写入authorize文件中。结果就是，所有的container的公钥都是一样的，而且写入了authorize文件，所以都实现了免密码登录。其实笔者不希望这样，对于docker的公钥问题留下待解决的问题。

在构建Dockerfile的时候，ssh_config文件StrictHostKeyChecking no，设置在首次ssh登录的时候，不用询问。

The authenticity of host 'namenode (172.18.0.11)' can't be established.
ECDSA key fingerprint is SHA256:4utoWe5uVp79ImYqkPPukjmrGIfvDC5demc1sx8sY9c.
Are you sure you want to continue connecting (yes/no)? yes

（四）启动脚本

docker 容器有一个特性，当没有前台应用的时候，docker自动停止（这个设计有什么优势我还不知道）。

我们在创建dockerfile的时候配置了CMD ，就是系统运行后前台命令。如果run docker的时候，配置了start-hdf.sh 命令，那么就会遇到脚本运行结束docker自动停止。

解决方法，在本地创建一个.sh文件，在docker run 的时候挂载到container中，run 命令设置运行这个docker容器中的sh文件。

/etc/init.d/ssh start
/opt/hadoop-2.6.5/sbin/start-dfs.sh

六、分布式Hadoop环境

在本地建立4个文件目录，namenode、secondnamenode、datanode、datanode2。

(一) namenode文件夹：

hadoop
namenode.sh #启动脚本
run.sh #ssh start start-dfs.sh
data #挂载到/opt/tmp

hadoop文件夹是容器内/opt/hadoop/etc/hadoop的挂载文件
core-site.xml

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://namenode:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/tmp</value>
    </property>
</configuration>

hdfs-site.xml，全部类型的节点都用这个配置，标注了namenode 和secondnamenode的域名/ip。

<configuration>
  <property>
      <name>dfs.replication</name>
      <value>2</value>
  </property>
  <property>
    <name>dfs.http.address</name>
    <value>namenode:50070</value>
  </property>
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>secondnamenode:50090</value>
  </property>
</configuration>

slaves

secondnamenode
datanode

masters

secondnamenode

namenode.sh

docker run -it --name namenode --hostname namenode --network  hadoopnet --ip 172.18.0.11 -d -v $PWD/data:/opt/tmp -v $PWD/hadoop:/opt/hadoop-2.6.5/etc/hadoop -v $PWD/run.sh:/opt/run.sh --rm wsn/ubuntu_ssh_java_hadoop /opt/run.sh

run.sh，如果没有格式化目录，首先格式化目录。```bash``使终端有一个前台进程。

#!/bin/bash
if [ ! -d "/opt/tmp/dfs" ];then
    hadoop namenode -format
else
    echo "already format"
fi
/etc/init.d/ssh start
/opt/hadoop-2.6.5/sbin/start-dfs.sh
bash

（二）secondnamenode，datanode 启动命令

docker run --name secondnamenode --hostname secondnamenode --network  hadoopnet --ip 172.18.0.12 -d -v $PWD/data:/opt/tmp -v $PWD/hadoop:/opt/hadoop-2.6.5/etc/hadoop  --rm wsn/ubuntu_ssh_java_hadoop 
docker run --name datanode1 --hostname datanode1 --network  hadoopnet --ip 172.18.0.13 -d -v $PWD/data:/opt/tmp -v $PWD/hadoop:/opt/hadoop-2.6.5/etc/hadoop   --rm wsn/ubuntu_ssh_java_hadoop

这个两个节点已经写到namenode的slaves文件，secondnamenode在配置文件hdfs-site.xml设置为secondary。当namenode启动start-hdf.sh时会通过ssh，启动secondnamenode上的secondname进程和datanode进程。datanode容器会启动datanode进程，此时可以通过web界面查看了。
（三）datanode2 启动

docker run --name datanode2 --hostname datanode2 --network  hadoopnet --ip 172.18.0.14 -d -v $PWD/data:/opt/tmp -v $PWD/hadoop:/opt/hadoop-2.6.5/etc/hadoop   --rm wsn/ubuntu_ssh_java_hadoop

datanode2没有添加到namenode的slaves文件中，但是在datanode2的hdfs文件中配置了namenode和secondnamenode，所以datanode可以自动添加到HDFS系统中。

/opt/etc/hadoop/sbin/hadoop-daemon.sh start datanode

web，http://172.18.0.11:50070/dfshealth.html#tab-datanode

七、总结

Google 三篇论文，分别介绍了分布式文件系统、MapReduce、宽表。对应开源系统Hadoop中的HDFS、MapReduce、HBase。通过对HDFS系统的配置，了解了主从结构的网络，应该用什么样的配置文件。对HBase系统也有一些了解，在HBase中对master节点采用了zookeeper进行控制。

大数据对系统结构搭建非常重视，实际工作中运维难度大。
Spark 是目前主流的大数据架构。

附录 docker 常用命令

image

案例一：启动nginx，绑定80到连接本地的8080端口

docker run -p 8080:80 -d nginx
-d:后台运行，

案例二：启动ubuntu

docker run ubuntu echo hello world
自动下载ubuntu ，并启动

案例三：替换docker 中文件

docker cp index.html containerId://usr/share/nginx/html

案例四：保存docker

docker commit -m "message" containerId
保存为一个新的image

案例五：dockerfile 文件创建docker image

FROM ubuntu   
MAINTAINER wsn
RUN apt-get update
RUN apt-get install -y nginx
copy index.html /var/www/html
ENTRYPOINT ["/usr/sbin/nginx","-g","daemon off;"]
EXPOSE 80

当前目录下运行命令 docker build -t wsn/ubuntu-nginx .
wsn/ubuntu-nginx 作为容器的名字
案例六：docker分层
案例七：volumn 持久化

docker run -p 80:80 -d -v $PWD/html:/usr/share/nginx/html nginx

$PWD/html 挂载虚拟机的/usr/share/nginx/html目录下
案例八：进入docker虚拟机shell，-it交互方法

docker exec -it nginx  /bin/bash

Hadoop HDFS分布式文件系统Docker版

一、Hadoop文件系统HDFS

构建单节点的伪分布式HDFS

构建4个节点的HDFS分布式系统

二、Mac docker环境

三、Docker 镜像

四、HDFS 伪分布式

五、Docker特性

（一）分层

（二）网络与内嵌DNS

（三）免密码登录

（四）启动脚本

六、分布式Hadoop环境

(一) namenode文件夹：

七、总结

附录 docker 常用命令

案例一：启动nginx，绑定80到连接本地的8080端口

案例二：启动ubuntu

案例三：替换docker 中文件

案例四：保存docker

案例五：dockerfile 文件创建docker image

热门文章

最新文章

相关课程

相关电子书

相关实验场景

推荐镜像

Hadoop HDFS分布式文件系统Docker版

一、Hadoop文件系统HDFS

构建单节点的伪分布式HDFS

构建4个节点的HDFS分布式系统

二、Mac docker环境

三、Docker 镜像

四、HDFS 伪分布式

五、Docker特性

（一） 分层

（二）网络与内嵌DNS

（三）免密码登录

（四）启动脚本

六、分布式Hadoop环境

(一) namenode文件夹：

七、总结

附录 docker 常用命令

案例一：启动nginx，绑定80到连接本地的8080端口

案例二： 启动ubuntu

案例三：替换docker 中文件

案例四：保存docker

案例五：dockerfile 文件创建docker image

热门文章

最新文章

相关课程

相关电子书

相关实验场景

推荐镜像

（一）分层

案例二：启动ubuntu