环境准备
操作系统为:centos linux 6.x
mfs: version: 2.0.88-1
服务器信息:
服务器角色 Ip地址 备注
Metaserver Master 10.168.250.18 主元数据服务器(VIP:10.168.250.33)
Metaserver Slave 10.168.250.19 备元数据服务器
Chunkserver 10.168.250.20 数据存储服务器
Chunkserver 10.168.250.21 数据存储服务器
Moosefs client 10.168.250.22 客户机挂载服务器,测试使用
Moosefs-master安装配置
安装社区版本 Master Server
在10.168.250.18和10.168.250.19上安装Master Server
两台机器上都根据以下方式配置好yum源
1.curl "http://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS
如下图:
2.curl "http://ppa.moosefs.com/MooseFS-2-el6.repo" > /etc/yum.repos.d/MooseFS.repo
如下图:
安装Moosefs-Master
1.yum install moosefs-master moosefs-cli moosefs-cgi moosefs-cgiserv
如下图:
2.修改配置文件:mfsmaster.cfg
Master默认配置文件目录:/etc/mfs
对于要修改的文件,先执行:cp mfsmaster.cfg.dist mfsmaster.cfg
将文件mfsmaster.cfg中的MATOCS_LISTEN_HOST的ip修改为:10.168.250.18。
MATOCS_LISTEN_HOST:用于 chunkserver连接的 IP 地址(默认是*,代表任何IP);
建议修改为chunkserver需要连接的ip地址。
3.修改主机名和IP配置文件:hosts
该文件目录:/etc/hosts
vi /etc/hosts
10.168.250.18 hadoop18.test.com 【注意:后续会修改为VIP】
10.168.250.19 hadoop19.test.com
10.168.250.20 hadoop20.test.com
10.168.250.21 hadoop21.test.com
10.168.250.22 hadoop22.test.com
该文件的IP和网址域名可根据实际情况进行配置
【注意:以上步骤需要在18和19上都进行操作】
4.master启动 和停止
启动命令有两种方式:一、/usr/sbin/mfsmaster start 二、service moosefs-master start
用/usr/sbin/mfsmaster start启动如下图:
检查mfs服务:ps –aux | grep mfs,如下图:
检查mfs监听端口:netstat ntlp,如下图:
master有两种停止命令:/usr/sbin/mfsmaster stop;
service moosefs-master stop
5.监控平台启动和停止
启动命令有两种方式:一、/usr/sbin/mfscgiserv start 二、service moosefs-cgiserv start
用/usr/sbin/mfscgiserv start启动如下图:
检查监控平台监听端口:netstat ntlp,如下图红框处:
master有两种停止命令:/usr/sbin/mfscgiserv stop;
service moosefs-mfscgiserv stop
访问http: //10.168.250.18:9425 ,如下图 【注意:后续以VIP的方式进行访问】
Chunk-server安装配置
在10.168.250.20和10.168.250.21上安装chunk-server
两台机器上都根据以下方式配置好yum源【注意:此步骤与master安装一致】
1.curl "http://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS
如下图:
2.curl "http://ppa.moosefs.com/MooseFS-2-el6.repo" > /etc/yum.repos.d/MooseFS.repo
如下图:
安装chunk-server
1.yum install moosefs-chunkserver
如下图:
2.创建数据存储目录
1)创建mfs属组和用户
/usr/sbin/groupadd mfs
/usr/sbin/useradd mfs -g mfs -s /sbin/nologin
2)创建数据存储目录
mkdir -p /data/mfschunk
chown -R mfs:mfs /data/mfschunk
3.修改配置文件:mfschunkserver.cfg、mfshdd.cfg
chunk-server默认配置文件目录:/etc/mfs
对于要修改的文件,先执行:cp mfschunkserver.cfg.dist mfschunkserver.cfg;
cp mfshdd.cfg.dist mfshdd.cfg;
将文件mfschunkserver.cfg中的MASTER_HOST的ip修改为:10.168.250.18;
在mfshdd.cfg文件中添加目录:/data/mfschunk
4.修改主机名和IP配置文件:hosts
该文件目录:/etc/hosts
vi /etc/hosts
10.168.250.18 hadoop18.test.com 【注意:后续会修改为VIP】
10.168.250.19 hadoop19.test.com
10.168.250.20 hadoop20.test.com
10.168.250.21 hadoop21.test.com
10.168.250.22 hadoop22.test.com
该文件的IP和网址域名可根据实际情况进行配置
【注意:以上步骤需要在18和19上都进行操作】
5.chunk-server启动和停止
启动命令有两种方式:一、/usr/sbin/mfschunkserver start 二、service moosefs-chunkserver start
用/usr/sbin/mfschunkserver start启动如下图:
检查mfs监听端口:netstat ntlp,如下图红框出:
chunkserver有两种停止命令:/usr/sbin/mfschunkserver stop;
service moosefs-cgiserv stop
两台chunkserver启动后,通过监控平台看到的信息如下图:
图1:
图2:
Moosefs-client安装配置
在10.168.250.22上安装Moosefs-client
在10.168.250.22上都根据以下方式配置好yum源【注意:此步骤与master安装一致】
1.curl "http://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS
如下图:
2.curl "http://ppa.moosefs.com/MooseFS-2-el6.repo" > /etc/yum.repos.d/MooseFS.repo
如下图:
安装moosefs-client
1.yum install moosefs-client
如下图:
2.创建数据存储目录和回收站目录
1)创建mfs属组和用户
/usr/sbin/groupadd mfs
/usr/sbin/useradd mfs -g mfs -s /sbin/nologin
(是否需要)
2)创建数据存储目录
mkdir -p /data/mfsdata
mkdir -p /data/mfstrash
chown -R mfs:mfs /data/mfsdata(是否需要)
3.将/data/mfsdata、/data/mfstrash挂载到主moosefs-master(10.168.250.18)上
1)将/data/mfsdata挂载到主moosefs-master(10.168.250.18)上
/usr/bin/mfsmount /data/mfsdata -H 10.168.250.18
2)检查挂载情况,如下图红框处
通过监控平台查看moosefs-client挂载情况,如下图:
【注意:/data/mfstrash的挂载步骤与/data/mfsdata一致】
测试
1.在22上设置文件副本数
/usr/bin/mfsrsetgoal 2 /data/mfsdata
因为chunkserver只用两台,所以副本数为2。副本数以chunkserver个数为准。
2.在22上的/data/mfsdata编写文件
echo 'mytest' > /data/mfsdata/testfile
在/data/mfsdata目录下,生成testfile文件
3.检查文件传输情况
/usr/bin/mfsfileinfo /data/mfsdata/testfile
如下图:
文件被保存到20和21上。
4.检查20和21上文件保存情况
在/data/mfschunk下,执行命令:ls –lrt,如下图红框处
因为我是在15:21分,在22上执行的echo 'mytest' > /data/mfsdata/testfile命令,所以在21和22上显示的时间为15:21分。