开发者社区> 技术小胖子> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

MogileFS高可用分布式文件系统详解

简介:
+关注继续查看

一、关于MogileFS

MongileFS是一个由Perl开发的分布式文件系统,遵循CAP理论,即Consistency:数据的一致性;Availability:数据的可用性;Tolerance of network Partition:数据的容错性;而这里的MongileFS满足了后俩者,也就是只满足数据的可用性和容错性,对于大型网站,数据的可用性和容错性要优先于数据的一致性。

MongileFS使用一致性hash来解决数据的可用性,使用虚拟节点来解决数据倾斜的问题;MongileFS特别适合存储海量小文件的数据,与之类似的分布式文件系统还有:FastDFS,MooseFS等,也适合存储海量小文件。

MongileFS的特性:

1、应用层实现,不需要特殊的核心组件;

2、无单点失败,MogileFS分布式文件存储系统安装的三个组件(存储节点、跟踪器、跟踪用的数据库),均可运行在多个机器上,因此没有单点失;

3、自动的文件复制 — 基于不同的文件“分类”,文件可以被自动的复制到多个有足够存储空间的存储4节点上,这样可以满足这个“类别”的最少复制要求;

4、简单的命名空间 –文件通过一个给定的key来确定,是一个全局的命名空间.你可以自己生成多个命名空间,只要你愿意,不过这样可能在同一MogileFS中会造成key冲突;

5、不用共享任何东西 — MogileFS分布式文件存储系统不需要依靠昂贵的SAN来共享磁盘,每个机器只用维护好自己的磁盘;


实现MogileFS分布文件系统所需要的主机角色:

1、Tracker(MogileFSd 进程):这个是 MogileFS 的核心部分,他是一个调度器,MogileFSd 进程就是trackers进程程序,trackers 做了很多工作:Replication ,Deletion,Query,Reaper,Monitor 等等,这个是基于事件的( event-based ) 父进程/消息总线来管理所有来之于客户端应用的交互(requesting operations to be performed),,包括将请求负载平衡到多个“query workers”中,然后让 MogileFSd 的子进程去处理;

2、MySQL:用来存放 MogileFS 的元数据 (命名空间, 和文件在哪里),是Trackers 来操作和管理它,可以用mogdbsetup程序来初始化数据库,因为数据库保存了MogileFS的所有元数据,建议做成HA架构;

3、Storage Nodes:实际文件存放的地方,存储节点是一个HTTP服务器,用来做删除,存放,重命名等事情,任何WebDAV服务器都可以, 不过推荐使用mogstored,MogileFSd 可以配置到两个机器上使用不同端口,mogstored来进行所有的DAV操作和流量,IO监测, 并且你自己选择的HTTP服务器(默认为 perlbal)用来做GET操作给客户端提供文件。


MogileFS管理的几个概念:

1、Domain:一个MogileFS可以有多个Domain,用来存放不同文件(大小,类型),同一个Domain内key必须为一,不同Domain内,key可以相同;

2、Class:文件属性管理,定位文件存储在不同设备上的份数;



二、MongileFS工作原理图

wKiom1NGZNiTKzaNAAD4rEDUBXs571.jpg



三、实验环境

10.232.50.239 OS:CentOS 6.4 x86_64  node1.luojianlong.com

10.232.42.218 OS:CentOS 6.4 x86_64  node2.luojianlong.com

10.232.42.219 OS:CentOS 6.4 x86_64  node3.luojianlong.com



拓扑图

wKiom1NGaLOjannfAAEA7emcEBk572.jpg


首先,分别在node1,node2,node3上面安装cpan以及依赖的包

1
2
3
[root@node1 ~]# yum -y install make gcc unzip perl-DBD-MySQL perl perl-CPAN perl-YAML perl-Time-HiRes cpan
[root@node2 ~]# yum -y install make gcc unzip perl-DBD-MySQL perl perl-CPAN perl-YAML perl-Time-HiRes cpan
[root@node3 ~]# yum -y install make gcc unzip perl-DBD-MySQL perl perl-CPAN perl-YAML perl-Time-HiRes cpan


使用cpan命令安装MogileFS::Server,MogileFS::Client,以及依赖的模块,前提是主机能够上互联网

1
2
3
4
5
6
7
8
9
10
# 安装过程中,如有提示安装依赖的模块,直接回答yes即可
[root@node1 ~]# cpan -i install MogileFS::Server
[root@node1 ~]# cpan -i install MogileFS::Client
[root@node1 ~]# cpan -i install MogileFS::Utils
[root@node2 ~]# cpan -i install MogileFS::Server
[root@node2 ~]# cpan -i install MogileFS::Client
[root@node2 ~]# cpan -i install MogileFS::Utils
[root@node3 ~]# cpan -i install MogileFS::Server
[root@node3 ~]# cpan -i install MogileFS::Client
[root@node3 ~]# cpan -i install MogileFS::Utils

安装完成以后,在node1上面安装mysql


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
[root@node1 ~]# useradd -r mysql
[root@node1 ~]# tar zxvf mysql-5.5.33-linux2.6-x86_64.tar.gz -C /usr/local/
[root@node1 ~]# cd /usr/local/
[root@node1 local]# ln -s mysql-5.5.33-linux2.6-x86_64 mysql
[root@node1 local]# cd mysql
[root@node1 mysql]# chown -R root.mysql ./*
[root@node1 mysql]# mkdir /mydata/data -p
[root@node1 mysql]# chown -R mysql.mysql /mydata/data/
[root@node1 mysql]# cp support-files/mysql.server /etc/rc.d/init.d/mysqld
[root@node1 mysql]# chmod +x /etc/rc.d/init.d/mysqld
[root@node1 mysql]# chkconfig --add mysqld
[root@node1 mysql]# chkconfig mysqld on
[root@node1 mysql]# cp support-files/my-large.cnf /etc/my.cnf
[root@node1 mysql]# ./scripts/mysql_install_db --user=mysql --datadir=/mydata/data
[root@node1 mysql]# vi /etc/my.cnf
# 添加如下俩行
datadir = /mydata/data
innodb_file_per_table = 1
[root@node1 mysql]# vi /etc/profile.d/mysql.sh
export PATH=/usr/local/mysql/bin:$PATH
[root@node1 mysql]# . /etc/profile.d/mysql.sh
[root@node1 mysql]# service mysqld start
Starting MySQL.... SUCCESS!


创建Tracker连接mysql的远程用户

1
2
3
4
mysql> grant all on *.* to 'root'@'%' identified by '123456';
Query OK, 0 rows affected (0.00 sec)
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)


配置Tracker

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
[root@node1 ~]# useradd -r mogilefs
[root@node1 ~]# mkdir /var/run/mogilefsd/ -p
[root@node1 ~]# chown -R mogilefs.mogilefs /var/run/mogilefsd
[root@node1 ~]# mkdir /etc/mogilefs/
# 编辑配置文件:/etc/mogilefs/mogilefsd.conf
[root@node1 ~]# vi /etc/mogilefs/mogilefsd.conf
db_dsn = DBI:mysql:mogilefs:host=10.232.50.239;port=3306;mysql_connect_timeout=5
db_user = mogile
db_pass = 123456
conf_port = 7001
listener_jobs = 5
node_timeout = 5
rebalance_ignore_missing = 1
# 编写mogilefsd启动脚本
[root@node1 ~]# vi /etc/rc.d/init.d/mogilefsd
#!/bin/bash
#
# mogilefsd - Startup script for the MogileFS tracker
#
# chkconfig: - 85 15
# description: MogileFS tracker
# processname: mogilefsd
# config: /etc/mogilefs/mogilefsd.conf
# pidfile: /var/run/mogilefsd/mogilefsd.pid
# Source function library.
/etc/rc.d/init.d/functions
# Path to the apachectl script, server binary, and short-form for messages.
lockfile=${LOCKFILE-/var/lock/subsys/mogilefsd}
RETVAL=0
prog=$(which mogilefsd)
start() {
    ulimit -n 65535
    echo -n $"Starting mogilefsd"
    su - mogilefs -c "$prog -c /etc/mogilefs/mogilefsd.conf --daemon"
    RETVAL=$?
    [ $RETVAL = 0 ] && success && touch ${lockfile} || failure
    echo
    return $RETVAL
}
stop() {
    echo -n $"Stopping mogilefsd"
    netstat -nlp|grep "mogilefsd"|grep -v grep|awk '{print $7}'|awk -F"/" '{print $1}'|xargs kill -9
    RETVAL=$?
    [ $RETVAL = 0 ] && success && rm -f ${lockfile} || failure
    echo
}
reload() {
    echo -n $"Reloading mogilefsd: "
    killall mogilefsd -HUP
    RETVAL=$?
    [ $RETVAL = 0 ] && success || failure
    echo
}
case "$1" in
    start)
        start
        ;;
    stop)
        stop
        ;;
    status)
        status mogilefsd
        RETVAL=$?
        ;;
    restart)
        stop
        sleep 1
        start
        ;;
    reload)
        reload
        ;;
    *)
        echo $"Usage: mogilefsd {start|stop|restart|reload|status}"
        exit 1
esac
exit $RETVAL
[root@node1 ~]# chmod +x /etc/rc.d/init.d/mogilefsd
[root@node1 ~]# chkconfig --add mogilefsd
[root@node1 ~]# chkconfig mogilefsd on
# 初始化数据库
[root@node1 ~]# mogdbsetup --dbhost=127.0.0.1 --dbrootuser=root --dbpass=123456 --dbname=mogilefs --dbuser=mogile --dbpassword=123456
This will attempt to setup or upgrade your MogileFS database.
It won't destroy existing data.
Run with --help for more information.  Run with --yes to shut up these prompts.
Continue? [N/y]: y
Create/Upgrade database name 'mogilefs'? [Y/n]: y
Grant all privileges to user 'mogile', connecting from anywhere, to the mogilefs database 'mogilefs'? [Y/n]: y
[root@node1 ~]# ln -s /usr/local/bin/mogilefsd /usr/bin/
[root@node1 ~]# ln -s /usr/local/bin/mogilefsd /usr/sbin/
[root@node1 ~]# service mogilefsd start
Starting mogilefsd                                         [  OK  ]
[root@node1 ~]# ss -anptl
Recv-Q Send-Q                                                                    Local Address:Port                                                                      Peer Address:Port
0      128                                                                                  :::22                                                                                  :::*      users:(("sshd",8066,4))
0      128                                                                                   *:22                                                                                   *:*      users:(("sshd",8066,3))
0      128                                                                                   *:7001                                                                                 *:*      users:(("mogilefsd",3444,6))
0      50                                                                                    *:3306                                                                                 *:*      users:(("mysqld",1003,11))
# 启动成功
# 在node2,node3上面执行相同的操作,安装mogilefsd,不需要初始化数据

配置mogstored

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
# 编辑mogstored配置文件
[root@node1 ~]# vi /etc/mogilefs/mogstored.conf
maxconns = 10000
httplisten = 0.0.0.0:7500
mgmtlisten = 0.0.0.0:7501
docroot = /mogdata
[root@node1 ~]# mkdir /mogdata/dev1
[root@node1 ~]# chown -R mogilefs.mogilefs /mogdata/dev1
# 编写mogstored启动脚本
[root@node1 ~]# vi /etc/rc.d/init.d/mogstored
#!/bin/bash
#
# mogstored - Startup script for the MogileFS storage
#
# chkconfig: - 86 14
# description: MogileFS storage
# processname: mogstored
# config: /etc/mogilefs/mogstored.conf
# pidfile: /var/run/mogilefsd/mogstored.pid
# Source function library.
/etc/rc.d/init.d/functions
# Path to the apachectl script, server binary, and short-form for messages.
lockfile=${LOCKFILE-/var/lock/subsys/mogstored}
RETVAL=0
configfile='/etc/mogilefs/mogstored.conf'
prog=$(which mogstored)
start() {
    ulimit -n 65535
    echo -n $"Starting mogstored"
    su - mogilefs -c "$prog -c $configfile --daemon"  &> /dev/null
    RETVAL=$?
    [ $RETVAL = 0 ] && success && touch ${lockfile} || failure
    echo
    return $RETVAL
}
stop() {
    echo -n $"Stopping mogstored"
    netstat -nlp|grep "mogstored"|grep -v grep|awk '{print $7}'|awk -F"/" '{print $1}'|xargs kill -9
    RETVAL=$?
    [ $RETVAL = 0 ] && success && rm -f ${lockfile} || failure
    echo
}
reload() {
    echo -n $"Reloading mogstored: "
    killall mogstored -HUP
    RETVAL=$?
    [ $RETVAL = 0 ] && success || failure
    echo
}
case "$1" in
    start)
        start
        ;;
    stop)
        stop
        ;;
    status)
        status mogstored
        RETVAL=$?
        ;;
    restart)
        stop
        sleep 1
        start
        ;;
    reload)
        reload
        ;;
    *)
        echo $"Usage: mogstored {start|stop|restart|reload|status}"
        exit 1
esac
exit $RETVAL
[root@node1 ~]# chmod +x /etc/rc.d/init.d/mogstored
[root@node1 ~]# chkconfig --add mogstored
[root@node1 ~]# chkconfig mogstored on
[root@node1 ~]# ln -s /usr/local/bin/mogstored  /usr/bin/
[root@node1 ~]# ln -s /usr/local/bin/mogstored  /usr/sbin/
[root@node1 ~]# service mogstored start
Starting mogstored                                         [  OK  ]
[root@node1 ~]# ss -anptl
Recv-Q Send-Q                                          Local Address:Port                                            Peer Address:Port
0      128                                                         *:7500                                                       *:*      users:(("mogstored",5108,4))
0      128                                                         *:7501                                                       *:*      users:(("mogstored",5108,9))
0      128                                                        :::22                                                        :::*      users:(("sshd",8066,4))
0      128                                                         *:22                                                         *:*      users:(("sshd",8066,3))
0      128                                                         *:7001                                                       *:*      users:(("mogilefsd",3444,6))
0      50                                                          *:3306                                                       *:*      users:(("mysqld",1003,11))
# 启动成功
# node2,node3执行相同的操作,对应的存储目录为/mogdata/dev2,/mogdata/dev3

在node2上面编译安装nginx

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
[root@node2 ~]# yum -y groupinstall "Development Tools" "Server Platform Deveopment"
[root@node2 ~]# yum -y install openssl-devel pcre-devel
[root@node2 ~]# groupadd -r nginx
[root@node2 ~]# useradd -r -g nginx nginx
# 解压nginx的第三方模块mogilefs模块
[root@node2 ~]# unzip nginx-mogilefs-module-master.zip
[root@node2 ~]# tar zxvf nginx-1.4.2.tar.gz
[root@node2 ~]# cd nginx-1.4.2
[root@node2 nginx-1.4.2]# ./configure \
> --prefix=/usr \
> --sbin-path=/usr/sbin/nginx \
> --conf-path=/etc/nginx/nginx.conf \
> --error-log-path=/var/log/nginx/error.log \
> --http-log-path=/var/log/nginx/access.log \
> --pid-path=/var/run/nginx/nginx.pid  \
> --lock-path=/var/lock/nginx.lock \
> --user=nginx \
> --group=nginx \
> --with-http_ssl_module \
> --with-http_flv_module \
> --with-http_stub_status_module \
> --with-http_gzip_static_module \
> --http-client-body-temp-path=/var/tmp/nginx/client/ \
> --http-proxy-temp-path=/var/tmp/nginx/proxy/ \
> --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ \
> --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi \
> --http-scgi-temp-path=/var/tmp/nginx/scgi \
> --with-pcre \
> --add-module=/root/nginx-mogilefs-module-master
[root@node2 nginx-1.4.2]# make && make install
[root@node2 nginx-1.4.2]# mkdir /var/tmp/nginx/client -p
[root@node2 nginx-1.4.2]# nginx


Nginx 做为 MogileFS 的前端客户端,我们使用Nginx来吐文件,做前端的查询代理时,我们需要使用到mogilefs的这个模块,可以下载这个模块编译进Nginx就行了,直接使用 ./configure -add-module=这个参数就可以了,最新的这个模块的下载地址是:https://github.com/vkholodkov/nginx-mogilefs-module


在node1上,使用mogadm添加节点

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
[root@node1 ~]# mogadm host add 10.232.50.239 --ip=10.232.50.239 --status=alive
[root@node1 ~]# mogadm host add 10.232.42.218 --ip=10.232.42.218 --status=alive
[root@node1 ~]# mogadm host add 10.232.42.219 --ip=10.232.42.219 --status=alive
[root@node1 ~]# mogadm check                                     
Checking trackers...
  127.0.0.1:7001 ... OK
Checking hosts...
  [ 1] 10.232.50.239 ... OK
  [ 2] 10.232.42.218 ... OK
  [ 3] 10.232.42.219 ... OK
Checking devices...
  host device         size(G)    used(G)    free(G)   use%   ob state   I/O%
  ---- ------------ ---------- ---------- ---------- ------ ---------- -----
  ---- ------------ ---------- ---------- ---------- ------
             total:     0.000      0.000      0.000   0.00%
# 添加host成功


为每个host添加device

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
[root@node1 ~]# mogadm device add 10.232.50.239 1
[root@node1 ~]# mogadm device add 10.232.42.218 2
[root@node1 ~]# mogadm device add 10.232.42.219 3
[root@node1 ~]# mogadm check
Checking trackers...
  127.0.0.1:7001 ... OK
Checking hosts...
  [ 1] 10.232.50.239 ... OK
  [ 2] 10.232.42.218 ... OK
  [ 3] 10.232.42.219 ... OK
Checking devices...
  host device         size(G)    used(G)    free(G)   use%   ob state   I/O%
  ---- ------------ ---------- ---------- ---------- ------ ---------- -----
  [ 1] dev1             7.472      2.443      5.029  32.69%  writeable   N/A
  [ 2] dev2             7.472      1.839      5.633  24.61%  writeable   N/A
  [ 3] dev3             7.472      1.647      5.825  22.04%  writeable   N/A
  ---- ------------ ---------- ---------- ---------- ------
             total:    22.416      5.928     16.488  26.45%
# 添加成功


添加domain

1
2
3
4
5
6
7
8
[root@node1 ~]# mogadm domain add files
[root@node1 ~]# mogadm domain add images
[root@node1 ~]# mogadm domain list
 domain               class                mindevcount   replpolicy   hashtype
-------------------- -------------------- ------------- ------------ -------
 files                default                   2        MultipleHosts() NONE
 images               default                   2        MultipleHosts() NONE
# 发现已经自动添加了default class


上传文件测试

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
[root@node1 ~]# mogupload --trackers=10.232.50.239 --domain=files --key='/fstab' --file='/etc/fstab'
[root@node1 ~]# mogfileinfo --trackers=10.232.50.239 --domain=files --key='/fstab'
file/fstab
     class:              default
  devcount:                    3
    domain:                files
       fid:                    5
       key:               /fstab
    length:                  463
 - http://10.232.42.219:7500/dev3/0/000/000/0000000005.fid
 - http://10.232.42.218:7500/dev2/0/000/000/0000000005.fid
# 可以看到文件被自动保存为2个副本
[root@node1 ~]# curl http://10.232.42.218:7500/dev2/0/000/000/0000000005.fid
/dev/xvda1            /                    ext3       noatime,acl,user_xattr 1 1
/dev/xvdc            swap                 swap       defaults 0 0
proc                 /proc                proc       defaults              0 0
sysfs                /sys                 sysfs      noauto                0 0
debugfs              /sys/kernel/debug    debugfs    noauto                0 0
devpts               /dev/pts             devpts     mode=0620,gid=5       0 0
# 可以正常访问

模拟down掉一个节点,看文件会不会丢失

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
[root@node1 ~]# mogadm host mark 10.232.42.218 down
[root@node1 ~]# mogadm check
Checking trackers...
  127.0.0.1:7001 ... OK
Checking hosts...
  [ 1] 10.232.50.239 ... OK
  [ 2] 10.232.42.218 ... skipping; status = down
  [ 3] 10.232.42.219 ... OK
Checking devices...
  host device         size(G)    used(G)    free(G)   use%   ob state   I/O%
  ---- ------------ ---------- ---------- ---------- ------ ---------- -----
  [ 1] dev1             7.472      2.443      5.029  32.70%  writeable   N/A
  [ 3] dev3             7.472      1.648      5.824  22.05%  writeable   N/A
  ---- ------------ ---------- ---------- ---------- ------
             total:    14.944      4.091     10.853  27.37%
[root@node1 ~]# mogfileinfo --trackers=10.232.42.218 --domain=files --key='/fstab'
file/fstab
     class:              default
  devcount:                    1
    domain:                files
       fid:                    5
       key:               /fstab
    length:                  463
 - http://10.232.42.218:7500/dev2/0/000/000/0000000005.fid
# 发现文件依然存在


下面使用Nginx来替换storage nodes上 mogstored中的Perlbal

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
[root@node2 ~]# vi /etc/nginx/nginx.conf
# 添加如下
  upstream trackers {
    server 10.232.50.239:7001;
    server 10.232.42.218:7001;
    server 10.232.42.219:7001;
}
  location /files/ {
        mogilefs_tracker trackers;
        mogilefs_domain files;
        mogilefs_methods get;
        mogilefs_pass {
        proxy_pass $mogilefs_path;
        proxy_hide_header Content-Type;
        proxy_buffering off;
        }
        }
[root@node2 ~]# nginx -s reload


关于如上配置解释一下,比如:

http://www.a.com/files/A6B00135E24AB17E043B9B5453762438.png

这个URL中的UUID是A6B00135E24AB17E043B9B5453762438.png.这时我们使用这个做key来存到MogileFS中就行,再结合rewrite,只要key在url里有,就能直接代理到后端的mogilefs,如果使用了多个tracker的话,要配置使用多个tracker来进行负载均衡和备份,可以直接配置tracker到upstrame里面,然后后面配置tracker的连接时,直接加上mogilefs_tracker online_mogilefs就行了,如果你还想配置使用 mogilefs 的 Nginx 上传,使用其中的 put 功能然后就不要安装客户端上传送,就需要打个补丁,上面的配置一样,关键对于上传的配置,需要给方法修改为mogilefs_methods PUT DETEL。



上传文件测试

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
# 设置files domain的class复制份数为3
[root@node1 ~]# mogadm class modify files default --mindevcount=3
# 上传文件
[root@node1 ~]# echo "9966" > /tmp/index11.html
[root@node1 ~]# mogupload --trackers=10.232.50.239 --domain=files --key='index11.html' --file='/tmp/index11.html'
[root@node1 ~]# mogfileinfo --trackers=10.232.50.239 --domain=files --key='index11.html'
file: index11.html
     class:              default
  devcount:                    3
    domain:                files
       fid:                   24
       key:         index11.html
    length:                    5
 - http://10.232.42.218:7500/dev2/0/000/000/0000000024.fid
 - http://10.232.50.239:7500/dev1/0/000/000/0000000024.fid
 - http://10.232.42.219:7500/dev3/0/000/000/0000000024.fid
# 发现有3个副本
[root@node2 ~]# curl http://10.232.42.218/files/index11.html
9966


测试正常访问

下面模拟down掉一个节点

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
[root@node1 ~]# mogadm host mark 10.232.50.239 down
[root@node1 ~]# mogadm check
Checking trackers...
  127.0.0.1:7001 ... OK
Checking hosts...
  [ 1] 10.232.50.239 ... skipping; status = down
  [ 2] 10.232.42.218 ... OK
  [ 3] 10.232.42.219 ... OK
Checking devices...
  host device         size(G)    used(G)    free(G)   use%   ob state   I/O%
  ---- ------------ ---------- ---------- ---------- ------ ---------- -----
  [ 2] dev2             7.472      1.843      5.629  24.67%  writeable   N/A
  [ 3] dev3             7.472      1.652      5.820  22.11%  writeable   N/A
  ---- ------------ ---------- ---------- ---------- ------
             total:    14.944      3.495     11.449  23.39%
[root@node2 ~]# curl http://10.232.42.218/files/index11.html
9966


发现访问一切正常

如果想根据跨多机房多网段来复制不同class份数,需要安装MogileFS::Network模块

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
[root@node1 ~]# cpan -i MogileFS::Network
# 安装完成后
# 添加网段名称,这里添加2个
[root@node1 ~]# mogadm settings set network_zones near,far
# 添加网段地址
[root@node1 ~]# mogadm settings set zone_near 10.0.0.0/8
# 修改class属性
[root@node1 ~]# mogadm class modify files default --replpolicy "HostsPerNetwork(near=2)"
# 发现修改生效
[root@node1 ~]# mogadm class list
 domain               class                mindevcount   replpolicy   hashtype
-------------------- -------------------- ------------- ------------ -------
 files                default                   2        HostsPerNetwork(near=2) NONE
 files                index                     3        MultipleHosts() NONE
 images               default                   2        MultipleHosts() NONE
# 这里就实现了根据网段不同复制不同的class数量


注意:如果是多个tracker的话,每个tracker主机上都需要安装MogileFS::Network模块。



常见问题及解决方法:

如果遇到class的devcount始终为1,修改class的mindevcount也无效的话,可以设置如下:

1
2
3
4
5
6
7
[root@node1 ~]# perl -MSys::Syscall -e 'print $Sys::Syscall::VERSION'
0.25
# 显示为0.25版本,这就会有问题
[root@node1 ~]# cpanm http://search.cpan.org/CPAN/authors/id/B/BR/BRADFITZ/Sys-Syscall-0.23.tar.gz
[root@node1 ~]# perl -MSys::Syscall -e 'print $Sys::Syscall::VERSION'
0.23
# 降级为0.23的版本就能解决次问题了


到此,MogileFS, nginx-mogilefs高可用分布式文件系统配置完成。







     本文转自ljl_19880709 51CTO博客,原文链接:http://blog.51cto.com/luojianlong/1393547,如需转载请自行联系原作者








版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
21114
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载