AI 助理
备案控制台
开发者社区 数据库 文章 正文

MogileFS高可用分布式文件系统详解

2017-11-16 1631
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云数据库 RDS MySQL，集群系列 2核4GB
推荐场景：
搭建个人博客
RDS MySQL Serverless 基础系列，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
RDS MySQL Serverless 高可用系列，价值2615元额度，1个月
简介：

一、关于MogileFS

MongileFS是一个由Perl开发的分布式文件系统，遵循CAP理论，即Consistency：数据的一致性；Availability：数据的可用性；Tolerance of network Partition：数据的容错性；而这里的MongileFS满足了后俩者，也就是只满足数据的可用性和容错性，对于大型网站，数据的可用性和容错性要优先于数据的一致性。

MongileFS使用一致性hash来解决数据的可用性，使用虚拟节点来解决数据倾斜的问题；MongileFS特别适合存储海量小文件的数据，与之类似的分布式文件系统还有：FastDFS，MooseFS等，也适合存储海量小文件。

MongileFS的特性：

1、应用层实现，不需要特殊的核心组件；

2、无单点失败，MogileFS分布式文件存储系统安装的三个组件（存储节点、跟踪器、跟踪用的数据库）,均可运行在多个机器上,因此没有单点失；

3、自动的文件复制 — 基于不同的文件“分类”,文件可以被自动的复制到多个有足够存储空间的存储4节点上,这样可以满足这个“类别”的最少复制要求；

4、简单的命名空间 –文件通过一个给定的key来确定,是一个全局的命名空间.你可以自己生成多个命名空间,只要你愿意,不过这样可能在同一MogileFS中会造成key冲突；

5、不用共享任何东西 — MogileFS分布式文件存储系统不需要依靠昂贵的SAN来共享磁盘,每个机器只用维护好自己的磁盘；


实现MogileFS分布文件系统所需要的主机角色：

1、Tracker(MogileFSd 进程)：这个是 MogileFS 的核心部分，他是一个调度器，MogileFSd 进程就是trackers进程程序，trackers 做了很多工作：Replication ,Deletion,Query,Reaper,Monitor 等等，这个是基于事件的( event-based ) 父进程/消息总线来管理所有来之于客户端应用的交互(requesting operations to be performed),，包括将请求负载平衡到多个“query workers”中，然后让 MogileFSd 的子进程去处理；

2、MySQL：用来存放 MogileFS 的元数据 (命名空间, 和文件在哪里)，是Trackers 来操作和管理它，可以用mogdbsetup程序来初始化数据库，因为数据库保存了MogileFS的所有元数据，建议做成HA架构；

3、Storage Nodes：实际文件存放的地方，存储节点是一个HTTP服务器,用来做删除,存放,重命名等事情，任何WebDAV服务器都可以, 不过推荐使用mogstored，MogileFSd 可以配置到两个机器上使用不同端口，mogstored来进行所有的DAV操作和流量，IO监测, 并且你自己选择的HTTP服务器(默认为 perlbal)用来做GET操作给客户端提供文件。


MogileFS管理的几个概念：

1、Domain：一个MogileFS可以有多个Domain，用来存放不同文件（大小，类型），同一个Domain内key必须为一，不同Domain内，key可以相同；

2、Class：文件属性管理，定位文件存储在不同设备上的份数；



二、MongileFS工作原理图

wKiom1NGZNiTKzaNAAD4rEDUBXs571.jpg



三、实验环境

10.232.50.239 OS：CentOS 6.4 x86_64  node1.luojianlong.com

10.232.42.218 OS：CentOS 6.4 x86_64  node2.luojianlong.com

10.232.42.219 OS：CentOS 6.4 x86_64  node3.luojianlong.com



拓扑图

wKiom1NGaLOjannfAAEA7emcEBk572.jpg


首先，分别在node1，node2，node3上面安装cpan以及依赖的包

1
2
3
[root@node1 ~] # yum -y install make gcc unzip perl-DBD-MySQL perl perl-CPAN perl-YAML perl-Time-HiRes cpan
[root@node2 ~] # yum -y install make gcc unzip perl-DBD-MySQL perl perl-CPAN perl-YAML perl-Time-HiRes cpan
[root@node3 ~] # yum -y install make gcc unzip perl-DBD-MySQL perl perl-CPAN perl-YAML perl-Time-HiRes cpan


使用cpan命令安装MogileFS::Server，MogileFS::Client，以及依赖的模块，前提是主机能够上互联网

1
2
3
4
5
6
7
8
9
10
# 安装过程中，如有提示安装依赖的模块，直接回答yes即可
[root@node1 ~] # cpan -i install MogileFS::Server
[root@node1 ~] # cpan -i install MogileFS::Client
[root@node1 ~] # cpan -i install MogileFS::Utils
[root@node2 ~] # cpan -i install MogileFS::Server
[root@node2 ~] # cpan -i install MogileFS::Client
[root@node2 ~] # cpan -i install MogileFS::Utils
[root@node3 ~] # cpan -i install MogileFS::Server
[root@node3 ~] # cpan -i install MogileFS::Client
[root@node3 ~] # cpan -i install MogileFS::Utils

安装完成以后，在node1上面安装mysql


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
[root@node1 ~] # useradd -r mysql
[root@node1 ~] # tar zxvf mysql-5.5.33-linux2.6-x86_64.tar.gz -C /usr/local/
[root@node1 ~] # cd /usr/local/
[root@node1  local ] # ln -s mysql-5.5.33-linux2.6-x86_64 mysql
[root@node1  local ] # cd mysql
[root@node1 mysql] # chown -R root.mysql ./*
[root@node1 mysql] # mkdir /mydata/data -p
[root@node1 mysql] # chown -R mysql.mysql /mydata/data/
[root@node1 mysql] # cp support-files/mysql.server /etc/rc.d/init.d/mysqld
[root@node1 mysql] # chmod +x /etc/rc.d/init.d/mysqld
[root@node1 mysql] # chkconfig --add mysqld
[root@node1 mysql] # chkconfig mysqld on
[root@node1 mysql] # cp support-files/my-large.cnf /etc/my.cnf
[root@node1 mysql] # ./scripts/mysql_install_db --user=mysql --datadir=/mydata/data
[root@node1 mysql] # vi /etc/my.cnf
# 添加如下俩行
datadir =  /mydata/data
innodb_file_per_table = 1
[root@node1 mysql] # vi /etc/profile.d/mysql.sh
export  PATH= /usr/local/mysql/bin :$PATH
[root@node1 mysql] # . /etc/profile.d/mysql.sh
[root@node1 mysql] # service mysqld start
Starting MySQL.... SUCCESS!


创建Tracker连接mysql的远程用户

1
2
3
4
mysql> grant all on *.* to  'root' @ '%'  identified by  '123456' ;
Query OK, 0 rows affected (0.00 sec)
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)


配置Tracker

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
[root@node1 ~] # useradd -r mogilefs
[root@node1 ~] # mkdir /var/run/mogilefsd/ -p
[root@node1 ~] # chown -R mogilefs.mogilefs /var/run/mogilefsd
[root@node1 ~] # mkdir /etc/mogilefs/
# 编辑配置文件：/etc/mogilefs/mogilefsd.conf
[root@node1 ~] # vi /etc/mogilefs/mogilefsd.conf
db_dsn = DBI:mysql:mogilefs:host=10.232.50.239;port=3306;mysql_connect_timeout=5
db_user = mogile
db_pass = 123456
conf_port = 7001
listener_jobs = 5
node_timeout = 5
rebalance_ignore_missing = 1
# 编写mogilefsd启动脚本
[root@node1 ~] # vi /etc/rc.d/init.d/mogilefsd
#!/bin/bash
#
# mogilefsd - Startup script for the MogileFS tracker
#
# chkconfig: - 85 15
# description: MogileFS tracker
# processname: mogilefsd
# config: /etc/mogilefs/mogilefsd.conf
# pidfile: /var/run/mogilefsd/mogilefsd.pid
# Source function library.
.  /etc/rc .d /init .d /functions
# Path to the apachectl script, server binary, and short-form for messages.
lockfile=${LOCKFILE- /var/lock/subsys/mogilefsd }
RETVAL=0
prog=$( which  mogilefsd)
start() {
     ulimit  -n 65535
     echo  -n $ "Starting mogilefsd"
     su  - mogilefs -c  "$prog -c /etc/mogilefs/mogilefsd.conf --daemon"
     RETVAL=$?
     [ $RETVAL = 0 ] && success &&  touch  ${lockfile} || failure
     echo
     return  $RETVAL
}
stop() {
     echo  -n $ "Stopping mogilefsd"
     netstat  -nlp| grep  "mogilefsd" | grep  - v  grep | awk  '{print $7}' | awk  -F "/"  '{print $1}' | xargs  kill  -9
     RETVAL=$?
     [ $RETVAL = 0 ] && success &&  rm  -f ${lockfile} || failure
     echo
}
reload() {
     echo  -n $ "Reloading mogilefsd: "
     killall mogilefsd -HUP
     RETVAL=$?
     [ $RETVAL = 0 ] && success || failure
     echo
}
case  "$1"  in
     start)
         start
         ;;
     stop)
         stop
         ;;
     status)
         status mogilefsd
         RETVAL=$?
         ;;
     restart)
         stop
         sleep  1
         start
         ;;
     reload)
         reload
         ;;
     *)
         echo  $ "Usage: mogilefsd {start|stop|restart|reload|status}"
         exit  1
esac
exit  $RETVAL
[root@node1 ~] # chmod +x /etc/rc.d/init.d/mogilefsd
[root@node1 ~] # chkconfig --add mogilefsd
[root@node1 ~] # chkconfig mogilefsd on
# 初始化数据库
[root@node1 ~] # mogdbsetup --dbhost=127.0.0.1 --dbrootuser=root --dbpass=123456 --dbname=mogilefs --dbuser=mogile --dbpassword=123456
This will attempt to setup or upgrade your MogileFS database.
It won't destroy existing data.
Run with --help  for  more  information.  Run with -- yes  to shut up these prompts.
Continue? [N /y ]: y
Create /Upgrade  database name  'mogilefs' ? [Y /n ]: y
Grant all privileges to user  'mogile' , connecting from anywhere, to the mogilefs database  'mogilefs' ? [Y /n ]: y
[root@node1 ~] # ln -s /usr/local/bin/mogilefsd /usr/bin/
[root@node1 ~] # ln -s /usr/local/bin/mogilefsd /usr/sbin/
[root@node1 ~] # service mogilefsd start
Starting mogilefsd                                         [  OK  ]
[root@node1 ~] # ss -anptl
Recv-Q Send-Q                                                                    Local Address:Port                                                                      Peer Address:Port
0      128                                                                                  :::22                                                                                  :::*       users :(( "sshd" ,8066,4))
0      128                                                                                   *:22                                                                                   *:*       users :(( "sshd" ,8066,3))
0      128                                                                                   *:7001                                                                                 *:*       users :(( "mogilefsd" ,3444,6))
0      50                                                                                    *:3306                                                                                 *:*       users :(( "mysqld" ,1003,11))
# 启动成功
# 在node2,node3上面执行相同的操作，安装mogilefsd,不需要初始化数据

配置mogstored

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
# 编辑mogstored配置文件
[root@node1 ~] # vi /etc/mogilefs/mogstored.conf
maxconns = 10000
httplisten = 0.0.0.0:7500
mgmtlisten = 0.0.0.0:7501
docroot =  /mogdata
[root@node1 ~] # mkdir /mogdata/dev1
[root@node1 ~] # chown -R mogilefs.mogilefs /mogdata/dev1
# 编写mogstored启动脚本
[root@node1 ~] # vi /etc/rc.d/init.d/mogstored
#!/bin/bash
#
# mogstored - Startup script for the MogileFS storage
#
# chkconfig: - 86 14
# description: MogileFS storage
# processname: mogstored
# config: /etc/mogilefs/mogstored.conf
# pidfile: /var/run/mogilefsd/mogstored.pid
# Source function library.
.  /etc/rc .d /init .d /functions
# Path to the apachectl script, server binary, and short-form for messages.
lockfile=${LOCKFILE- /var/lock/subsys/mogstored }
RETVAL=0
configfile= '/etc/mogilefs/mogstored.conf'
prog=$( which  mogstored)
start() {
     ulimit  -n 65535
     echo  -n $ "Starting mogstored"
     su  - mogilefs -c  "$prog -c $configfile --daemon"   &>  /dev/null
     RETVAL=$?
     [ $RETVAL = 0 ] && success &&  touch  ${lockfile} || failure
     echo
     return  $RETVAL
}
stop() {
     echo  -n $ "Stopping mogstored"
     netstat  -nlp| grep  "mogstored" | grep  - v  grep | awk  '{print $7}' | awk  -F "/"  '{print $1}' | xargs  kill  -9
     RETVAL=$?
     [ $RETVAL = 0 ] && success &&  rm  -f ${lockfile} || failure
     echo
}
reload() {
     echo  -n $ "Reloading mogstored: "
     killall mogstored -HUP
     RETVAL=$?
     [ $RETVAL = 0 ] && success || failure
     echo
}
case  "$1"  in
     start)
         start
         ;;
     stop)
         stop
         ;;
     status)
         status mogstored
         RETVAL=$?
         ;;
     restart)
         stop
         sleep  1
         start
         ;;
     reload)
         reload
         ;;
     *)
         echo  $ "Usage: mogstored {start|stop|restart|reload|status}"
         exit  1
esac
exit  $RETVAL
[root@node1 ~] # chmod +x /etc/rc.d/init.d/mogstored
[root@node1 ~] # chkconfig --add mogstored
[root@node1 ~] # chkconfig mogstored on
[root@node1 ~] # ln -s /usr/local/bin/mogstored  /usr/bin/
[root@node1 ~] # ln -s /usr/local/bin/mogstored  /usr/sbin/
[root@node1 ~] # service mogstored start
Starting mogstored                                         [  OK  ]
[root@node1 ~] # ss -anptl
Recv-Q Send-Q                                          Local Address:Port                                            Peer Address:Port
0      128                                                         *:7500                                                       *:*       users :(( "mogstored" ,5108,4))
0      128                                                         *:7501                                                       *:*       users :(( "mogstored" ,5108,9))
0      128                                                        :::22                                                        :::*       users :(( "sshd" ,8066,4))
0      128                                                         *:22                                                         *:*       users :(( "sshd" ,8066,3))
0      128                                                         *:7001                                                       *:*       users :(( "mogilefsd" ,3444,6))
0      50                                                          *:3306                                                       *:*       users :(( "mysqld" ,1003,11))
# 启动成功
# node2，node3执行相同的操作,对应的存储目录为/mogdata/dev2，/mogdata/dev3

在node2上面编译安装nginx

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
[root@node2 ~] # yum -y groupinstall "Development Tools" "Server Platform Deveopment"
[root@node2 ~] # yum -y install openssl-devel pcre-devel
[root@node2 ~] # groupadd -r nginx
[root@node2 ~] # useradd -r -g nginx nginx
# 解压nginx的第三方模块mogilefs模块
[root@node2 ~] # unzip nginx-mogilefs-module-master.zip
[root@node2 ~] # tar zxvf nginx-1.4.2.tar.gz
[root@node2 ~] # cd nginx-1.4.2
[root@node2 nginx-1.4.2] # ./configure \
> --prefix= /usr  \
> --sbin-path= /usr/sbin/nginx  \
> --conf-path= /etc/nginx/nginx .conf \
> --error-log-path= /var/log/nginx/error .log \
> --http-log-path= /var/log/nginx/access .log \
> --pid-path= /var/run/nginx/nginx .pid  \
> --lock-path= /var/lock/nginx .lock \
> --user=nginx \
> --group=nginx \
> --with-http_ssl_module \
> --with-http_flv_module \
> --with-http_stub_status_module \
> --with-http_gzip_static_module \
> --http-client-body-temp-path= /var/tmp/nginx/client/  \
> --http-proxy-temp-path= /var/tmp/nginx/proxy/  \
> --http-fastcgi-temp-path= /var/tmp/nginx/fcgi/  \
> --http-uwsgi-temp-path= /var/tmp/nginx/uwsgi  \
> --http-scgi-temp-path= /var/tmp/nginx/scgi  \
> --with-pcre \
> --add-module= /root/nginx-mogilefs-module-master
[root@node2 nginx-1.4.2] # make && make install
[root@node2 nginx-1.4.2] # mkdir /var/tmp/nginx/client -p
[root@node2 nginx-1.4.2] # nginx


Nginx 做为 MogileFS 的前端客户端，我们使用Nginx来吐文件,做前端的查询代理时,我们需要使用到mogilefs的这个模块，可以下载这个模块编译进Nginx就行了，直接使用 ./configure -add-module=这个参数就可以了，最新的这个模块的下载地址是:https://github.com/vkholodkov/nginx-mogilefs-module


在node1上，使用mogadm添加节点

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
[root@node1 ~] # mogadm host add 10.232.50.239 --ip=10.232.50.239 --status=alive
[root@node1 ~] # mogadm host add 10.232.42.218 --ip=10.232.42.218 --status=alive
[root@node1 ~] # mogadm host add 10.232.42.219 --ip=10.232.42.219 --status=alive
[root@node1 ~] # mogadm check                                     
Checking trackers...
   127.0.0.1:7001 ... OK
Checking hosts...
   [ 1] 10.232.50.239 ... OK
   [ 2] 10.232.42.218 ... OK
   [ 3] 10.232.42.219 ... OK
Checking devices...
   host device         size(G)    used(G)     free (G)   use%   ob state   I /O %
   ---- ------------ ---------- ---------- ---------- ------ ---------- -----
   ---- ------------ ---------- ---------- ---------- ------
              total:     0.000      0.000      0.000   0.00%
# 添加host成功


为每个host添加device

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
[root@node1 ~] # mogadm device add 10.232.50.239 1
[root@node1 ~] # mogadm device add 10.232.42.218 2
[root@node1 ~] # mogadm device add 10.232.42.219 3
[root@node1 ~] # mogadm check
Checking trackers...
   127.0.0.1:7001 ... OK
Checking hosts...
   [ 1] 10.232.50.239 ... OK
   [ 2] 10.232.42.218 ... OK
   [ 3] 10.232.42.219 ... OK
Checking devices...
   host device         size(G)    used(G)     free (G)   use%   ob state   I /O %
   ---- ------------ ---------- ---------- ---------- ------ ---------- -----
   [ 1] dev1             7.472      2.443      5.029  32.69%  writeable   N /A
   [ 2] dev2             7.472      1.839      5.633  24.61%  writeable   N /A
   [ 3] dev3             7.472      1.647      5.825  22.04%  writeable   N /A
   ---- ------------ ---------- ---------- ---------- ------
              total:    22.416      5.928     16.488  26.45%
# 添加成功


添加domain

1
2
3
4
5
6
7
8
[root@node1 ~] # mogadm domain add files
[root@node1 ~] # mogadm domain add images
[root@node1 ~] # mogadm domain list
  domain               class                mindevcount   replpolicy   hashtype
-------------------- -------------------- ------------- ------------ -------
  files                default                   2        MultipleHosts() NONE
  images               default                   2        MultipleHosts() NONE
# 发现已经自动添加了default class


上传文件测试

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
[root@node1 ~] # mogupload --trackers=10.232.50.239 --domain=files --key='/fstab' --file='/etc/fstab'
[root@node1 ~] # mogfileinfo --trackers=10.232.50.239 --domain=files --key='/fstab'
-  file :  /fstab
      class:              default
   devcount:                    3
     domain:                files
        fid:                    5
        key:                /fstab
     length:                  463
  - http: //10 .232.42.219:7500 /dev3/0/000/000/0000000005 .fid
  - http: //10 .232.42.218:7500 /dev2/0/000/000/0000000005 .fid
# 可以看到文件被自动保存为2个副本
[root@node1 ~] # curl http://10.232.42.218:7500/dev2/0/000/000/0000000005.fid
/dev/xvda1             /                    ext3       noatime,acl,user_xattr 1 1
/dev/xvdc             swap                 swap       defaults 0 0
proc                  /proc                 proc       defaults              0 0
sysfs                 /sys                  sysfs      noauto                0 0
debugfs               /sys/kernel/debug     debugfs    noauto                0 0
devpts                /dev/pts              devpts     mode=0620,gid=5       0 0
# 可以正常访问

模拟down掉一个节点，看文件会不会丢失

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
[root@node1 ~] # mogadm host mark 10.232.42.218 down
[root@node1 ~] # mogadm check
Checking trackers...
   127.0.0.1:7001 ... OK
Checking hosts...
   [ 1] 10.232.50.239 ... OK
   [ 2] 10.232.42.218 ... skipping; status = down
   [ 3] 10.232.42.219 ... OK
Checking devices...
   host device         size(G)    used(G)     free (G)   use%   ob state   I /O %
   ---- ------------ ---------- ---------- ---------- ------ ---------- -----
   [ 1] dev1             7.472      2.443      5.029  32.70%  writeable   N /A
   [ 3] dev3             7.472      1.648      5.824  22.05%  writeable   N /A
   ---- ------------ ---------- ---------- ---------- ------
              total:    14.944      4.091     10.853  27.37%
[root@node1 ~] # mogfileinfo --trackers=10.232.42.218 --domain=files --key='/fstab'
-  file :  /fstab
      class:              default
   devcount:                    1
     domain:                files
        fid:                    5
        key:                /fstab
     length:                  463
  - http: //10 .232.42.218:7500 /dev2/0/000/000/0000000005 .fid
# 发现文件依然存在


下面使用Nginx来替换storage nodes上 mogstored中的Perlbal

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
[root@node2 ~] # vi /etc/nginx/nginx.conf
# 添加如下
   upstream trackers {
     server 10.232.50.239:7001;
     server 10.232.42.218:7001;
     server 10.232.42.219:7001;
}
   location  /files/  {
         mogilefs_tracker trackers;
         mogilefs_domain files;
         mogilefs_methods get;
         mogilefs_pass {
         proxy_pass $mogilefs_path;
         proxy_hide_header Content-Type;
         proxy_buffering off;
         }
         }
[root@node2 ~] # nginx -s reload


关于如上配置解释一下，比如:

http://www.a.com/files/A6B00135E24AB17E043B9B5453762438.png

这个URL中的UUID是A6B00135E24AB17E043B9B5453762438.png.这时我们使用这个做key来存到MogileFS中就行，再结合rewrite,只要key在url里有,就能直接代理到后端的mogilefs，如果使用了多个tracker的话，要配置使用多个tracker来进行负载均衡和备份，可以直接配置tracker到upstrame里面，然后后面配置tracker的连接时,直接加上mogilefs_tracker online_mogilefs就行了，如果你还想配置使用 mogilefs 的 Nginx 上传,使用其中的 put 功能然后就不要安装客户端上传送,就需要打个补丁，上面的配置一样，关键对于上传的配置,需要给方法修改为mogilefs_methods PUT DETEL。



上传文件测试

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
# 设置files domain的class复制份数为3
[root@node1 ~] # mogadm class modify files default --mindevcount=3
# 上传文件
[root@node1 ~] # echo "9966" > /tmp/index11.html
[root@node1 ~] # mogupload --trackers=10.232.50.239 --domain=files --key='index11.html' --file='/tmp/index11.html'
[root@node1 ~] # mogfileinfo --trackers=10.232.50.239 --domain=files --key='index11.html'
-  file : index11.html
      class:              default
   devcount:                    3
     domain:                files
        fid:                   24
        key:         index11.html
     length:                    5
  - http: //10 .232.42.218:7500 /dev2/0/000/000/0000000024 .fid
  - http: //10 .232.50.239:7500 /dev1/0/000/000/0000000024 .fid
  - http: //10 .232.42.219:7500 /dev3/0/000/000/0000000024 .fid
# 发现有3个副本
[root@node2 ~] # curl http://10.232.42.218/files/index11.html
9966


测试正常访问

下面模拟down掉一个节点

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
[root@node1 ~] # mogadm host mark 10.232.50.239 down
[root@node1 ~] # mogadm check
Checking trackers...
   127.0.0.1:7001 ... OK
Checking hosts...
   [ 1] 10.232.50.239 ... skipping; status = down
   [ 2] 10.232.42.218 ... OK
   [ 3] 10.232.42.219 ... OK
Checking devices...
   host device         size(G)    used(G)     free (G)   use%   ob state   I /O %
   ---- ------------ ---------- ---------- ---------- ------ ---------- -----
   [ 2] dev2             7.472      1.843      5.629  24.67%  writeable   N /A
   [ 3] dev3             7.472      1.652      5.820  22.11%  writeable   N /A
   ---- ------------ ---------- ---------- ---------- ------
              total:    14.944      3.495     11.449  23.39%
[root@node2 ~] # curl http://10.232.42.218/files/index11.html
9966


发现访问一切正常

如果想根据跨多机房多网段来复制不同class份数，需要安装MogileFS::Network模块

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
[root@node1 ~] # cpan -i MogileFS::Network
# 安装完成后
# 添加网段名称，这里添加2个
[root@node1 ~] # mogadm settings set network_zones near,far
# 添加网段地址
[root@node1 ~] # mogadm settings set zone_near 10.0.0.0/8
# 修改class属性
[root@node1 ~] # mogadm class modify files default --replpolicy "HostsPerNetwork(near=2)"
# 发现修改生效
[root@node1 ~] # mogadm class list
  domain               class                mindevcount   replpolicy   hashtype
-------------------- -------------------- ------------- ------------ -------
  files                default                   2        HostsPerNetwork(near=2) NONE
  files                index                     3        MultipleHosts() NONE
  images               default                   2        MultipleHosts() NONE
# 这里就实现了根据网段不同复制不同的class数量


注意：如果是多个tracker的话，每个tracker主机上都需要安装MogileFS::Network模块。



常见问题及解决方法：

如果遇到class的devcount始终为1，修改class的mindevcount也无效的话，可以设置如下：

1
2
3
4
5
6
7
[root@node1 ~] # perl -MSys::Syscall -e 'print $Sys::Syscall::VERSION'
0.25
# 显示为0.25版本，这就会有问题
[root@node1 ~] # cpanm http://search.cpan.org/CPAN/authors/id/B/BR/BRADFITZ/Sys-Syscall-0.23.tar.gz
[root@node1 ~] # perl -MSys::Syscall -e 'print $Sys::Syscall::VERSION'
0.23
# 降级为0.23的版本就能解决次问题了


到此，MogileFS， nginx-mogilefs高可用分布式文件系统配置完成。







     本文转自ljl_19880709 51CTO博客，原文链接：http://blog.51cto.com/luojianlong/1393547，如需转载请自行联系原作者








文章标签：
云数据库 RDS MySQL 版
关系型数据库
Perl
MySQL
应用服务中间件
存储
关键词：
高可用分布式
相关实践学习
如何在云端创建MySQL数据库
开始实验后，系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心，利用清洁计算为万物互联的新世界提供源源不断的能源动力，目前开服的区域包括中国（华北、华东、华南、香港）、新加坡、美国（美东、美西）、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程，来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品：云服务器ECS 云服务器 ECS（Elastic Compute Service）是一种弹性可伸缩的计算服务，助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
技术小胖子
目录
相关文章
洛神灬殇
|
6月前
|
消息中间件 存储 负载均衡
【亿级数据专题】「分布式消息引擎」 盘点本年度我们探索服务的HA高可用解决方案
昔之善战者，先为不可胜，以待敌之可胜。不可胜在己，可胜在敌。故善战者，能为不可胜，不能使敌之必可胜。故曰：胜可知，而不可为。
洛神灬殇
260 2
【亿级数据专题】「分布式消息引擎」 盘点本年度我们探索服务的HA高可用解决方案
FeelTouchLabs
|
3月前
|
NoSQL Redis
基于Redis的高可用分布式锁——RedLock
这篇文章介绍了基于Redis的高可用分布式锁RedLock的概念、工作流程、获取和释放锁的方法，以及RedLock相比单机锁在高可用性上的优势，同时指出了其在某些特殊场景下的不足，并提到了ZooKeeper作为另一种实现分布式锁的方案。
FeelTouchLabs
110 2
基于Redis的高可用分布式锁——RedLock
weixin_836869520
|
4月前
|
负载均衡 Java 双11
使用Java构建高可用的分布式系统
使用Java构建高可用的分布式系统
weixin_836869520
34 0
尹正杰
|
2月前
|
存储
cephFS高可用分布式文件系统部署指南
关于如何部署高可用的cephFS分布式文件系统，包括集群的搭建、验证高可用性以及实现两主一从架构的详细指南。
尹正杰
76 9
1941623231718325
|
4月前
|
存储 运维 监控
如何设计高可用的分布式系统
【7月更文挑战第29天】设计高可用的分布式系统是一个复杂而细致的过程，需要从架构设计、冗余策略、故障转移与恢复、监控与告警等多个方面综合考虑。通过采用微服务架构、无状态服务、负载均衡、数据冗余、服务冗余、跨地域部署等策略，可以显著提高系统的可用性和可靠性。同时，建立完善的监控和告警体系，确保对系统的任何变化都能及时感知和处理。最终，通过不断的优化和改进，实现系统的高可用性目标。
1941623231718325
80 2
源码星辰
|
4月前
|
消息中间件 Java 开发者
Spring Cloud微服务框架：构建高可用、分布式系统的现代架构
Spring Cloud是一个开源的微服务框架，旨在帮助开发者快速构建在分布式系统环境中运行的服务。它提供了一系列工具，用于在分布式系统中配置、服务发现、断路器、智能路由、微代理、控制总线、一次性令牌、全局锁、领导选举、分布式会话、集群状态等领域的支持。
源码星辰
183 5
竹子爱熊猫
|
3月前
|
存储 算法 NoSQL
(三)漫谈分布式之集群篇：探寻N个9高可用与PB级数据存储的实现原理！
本文来详细聊聊集群的各方面知识，为诸位量身打造出结构化的集群知识体系。
竹子爱熊猫
122 0
喜欢猪猪
|
4月前
|
消息中间件 缓存 监控
如何设计一个秒杀系统，（高并发高可用分布式集群）
【7月更文挑战第4天】设计一个高并发、高可用的分布式秒杀系统是一个非常具有挑战性的任务，需要从架构、数据库、缓存、并发控制、降级限流等多个维度进行考虑。
喜欢猪猪
129 1
郑小健
|
5月前
|
SQL 关系型数据库 MySQL
MySQL高可用架构设计：从主从复制到分布式集群
MySQL高可用性涉及主从复制、半同步复制和Group/InnoDB Cluster。主从复制通过二进制日志同步数据，保证故障时可切换。半同步复制确保事务在至少一个从服务器确认后才提交。Group Replication是多主复制，支持自动故障切换。InnoDB Cluster是8.0的集成解决方案，简化集群管理。使用这些技术能提升数据库的稳定性和可靠性。
郑小健
481 2
聚娃科技开发者团队
|
4月前
|
运维 负载均衡 监控
如何设计一个高可用的分布式系统？
如何设计一个高可用的分布式系统？
聚娃科技开发者团队
69 0

热门文章

最新文章

  • 1
    分布式存储的多副本纠删码简介
  • 2
    阿里开源首款自研科学计算引擎 Mars ：基于张量的统一分布式计算框架
  • 3
    AgileEAS.NET SOA 中间件平台5.2版本下载、配置学习(二)：配置WinClient分布式运行环境
  • 4
    蚂蚁架构师郭援非：分布式数据库是金融机构数字化转型的最佳路径
  • 5
    WCF分布式安全开发实践(8):消息安全模式之用户名身份验证:Message_UserName_WSHttpBinding
  • 6
    Memcache分布式部署方案
  • 7
    【SpringCloud-Alibaba系列教程】16.动态配置yml以及分布式事务
  • 8
    WCF分布式安全开发实践(5):传输安全模式之Certificate身份验证:Transport_Certificate_WSHttpBinding
  • 9
    在PyTorch中使用DistributedDataParallel进行多GPU分布式模型训练
  • 10
    【分布式】分布式事务基础概念（2PC，3PC，TCC）
  • 1
    Ray是一个开源的分布式计算框架，用于构建和扩展分布式应用。它提供了简单的API，使得开发者可以轻松地编写并行和分布式代码，而无需担心底层的复杂性。
    784
  • 2
    Celery是一个基于分布式消息传递的异步任务队列/作业队列
    142
  • 3
    操作系统的演变：从单任务到多任务再到并发与分布式
    61
  • 4
    分布式自增ID算法---雪花算法（SnowFlake）Java实现
    282
  • 5
    探索操作系统的未来：从单体到分布式架构
    86
  • 6
    分布式系统的一些基本概念
    57
  • 7
    Spring Cloud微服务框架：构建高可用、分布式系统的现代架构
    183
  • 8
    技术好文：Redis分布式锁的正确实现方式
    52
  • 9
    探索排序的宇宙奥秘：Python中归并排序的并行处理与分布式应用！
    60
  • 10
    python多进程日志以及分布式日志的实现方式
    99

    • 相关课程

    更多
  • 开源PolarDB分布式版部署实操
  • Spring Boot+Vue.js+FastDFS实现分布式图片服务器
  • 基于Zookeeper、Dubbo构建互联网分布式基础架构
  • 分布式文件存储系统技术及实现
  • 分布式协调系统 Zookeeper 快速入门
  • Hadoop 分布式文件系统 HDFS

    • 相关电子书

    更多
  • 基于社区的分布式 风险感知模型
  • 如何利用Redisson分布式化传统Web项目
  • FLASH:大规模分布式图计算引擎及应用

    • 相关实验场景

    更多
  • 体验PolarDB-X透明分布式
    • 下一篇
    阿里云OSS设置跨域访问