MogileFS安装配置实战

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介:

实验环境

Centos6.4-x86_64

172.16.4.12 tracker

172.16.4.7 mogstore

172.16.4.1 mogstore

MogileFS是一套高效的文件自动备份组件用于组建分布式文件集群,适合存储海量小文件,用户上传的文件在storage上并且默认会存储在两个节点上,当其中一个down时,会自动往其他节点复制一份

一、配置tracker节点


安装mysql,为了方便管理,我们将mysql挂载在逻辑卷

mysql-5.5.33-linux2.6-x86_64.tar.gz


1:创建逻辑卷并挂载

创建磁盘分区

#fdisk /dev/sda

创建物理分区

#pvcreate /dev/sda{3,5}

创建卷组为myvg

#vgcreate myvg /dev/sda{3,5}

创建逻辑卷mydata

#lvcreate -L 20G -n mydata myv

对其进行格式化

#mke2fs -t ext4 -L MYDATA -b 2048 /dev/myvg/mydata

进行挂载

#mkdir /mydata

#mount -a

要使得能够开机自动挂载,需要编辑配置文件/etc/fstab

LABEL=MYDATA /mydata ext4 defaults 0

在/mydata下创建data目录

#mkdir /mydata/data

2:解压安装

添加系统用户mysql

#useradd -r mysql

修改属主和属组

#chown -R mysql:mysql /mydata/data

解压文件

#tar xf mysql-5.5.33-linux2.6-x86_64.tar.gz -C /usr/local

#cd /usr/local/

#ln -sv mysql-5.5.33-linux2.6-x86_64 mysql

#chown -R root:mysql /usr/local/mysql/*

#cd mysql/support-files有样例,我们可以根据自己的需要选择

将选择的文件复制一份到/etc/目录下并修改文件名为my.cnf

#cp my-large.cnf /etc/my.cnf

3:修改配置文件

# vim /etc/my.cnf

找到相关设置进行修改操作

thread_concurrency = 4并发核心数, 如果物理核心为2,这里就可以填写4

datadir = /mydata/data

innodb_file_per_table = 1 每表一个表空间

服务脚本

#cp mysql.server /etc/rc.d/init.d/mysqld

#chmod +x /etc/rc.d/init.d/mysqld

进行初始化

#cd /usr/local/mysql/

#scripts/mysql_install_db --user=mysql --datadir=/mydata/data/

添加mysql服务

#chkconfig --add mysqld

#chkconfig mysqld on

启动服务

#service mysqld start

安装mogilefs

MogileFS-Server.noarch 0:2.46-2.el6

MogileFS-Server-mogilefsd.noarch 0:2.46-2.el6

MogileFS-Server-mogstored.noarch 0:2.46-2.el6

MogileFS-Utils.noarch 0:2.19-1.el6

perl-MogileFS-Client.noarch 0:1.14-1.el6

perl-Net-Netmask.noarch 0:1.9015-8.el6

perl-Perlbal.noarch 0:1.78-1.el6

配置文件/etc/mogilefs

# mogdbsetup -h 获取帮助

mysql> grant all on mogilefs.* to 'moguser'@'%' identified by 'mogpass';

mysql> flush privileges;

初始化数据库

# mogdbsetup --dbhost=172.16.4.12 --dbrootpass=mypass --dbuser=moguser --dbpass=mogpass查看数据库

172914604.png

数据库初始化成功

编辑配置文件

#vim /etc/mogilefs/mogilefsd.conf

pidfile = /var/run/mogilefsd/mogilefsd.pid 源码包安装需要创建目录并且属主属组为mogilefsd

db_dsn = DBI:mysql:mogilefs:host=172.16..4.12

db_user = moguser

db_pass = mogpass

listen = 0.0.0.0:7001

# service mogilefsd start 启动服务


二、配置存储节点文件mogstore

MogileFS-Server-2.46-2.el6.noarch.rpm

MogileFS-Server-mogilefsd-2.46-2.el6.noarch.rpm

MogileFS-Server-mogstored-2.46-2.el6.noarch.rpm

MogileFS-Utils-2.19-1.el6.noarch.rpm

perl-IO-AIO-3.71-2.el6.x86_64.rpm

perl-MogileFS-Client-1.14-1.el6.noarch.rpm

perl-Net-Netmask-1.9015-8.el6.noarch.rpm

perl-Perlbal-1.78-1.el6.noarch.rpm

#yum -y --nogpgcheck localinstall *.rpm

#mkdir /mogdata/dev1 -pv

# chown -R mogilefs:mogilefs /mogdata/dev1/

# vim /etc/mogilefs/mogstored.conf 编辑配置文件

maxconns = 10000

httplisten = 0.0.0.0:7500

mgmtlisten = 0.0.0.0:7501

docroot = /mogdata

# service mogstored start 启动服务

接着配置tracker节点

# mogadm check 检查当前所有节点健康状况

Checking trackers...

127.0.0.1:7001 ... OK

Checking hosts...

No devices found on tracker(s)

#mogadm host list 查看mogstore节点

#mogadm host add -h 查看添加mogstore节点的帮助

# mogadm host add server1 --ip=172.16.4.7 --status=alive

添加存储空间

# mogadm device add server1 1

#mogadm check

Checking trackers...

127.0.0.1:7001 ... OK

Checking hosts...

[ 1] server1 ... OK

Checking devices...

host device size(G) used(G) free(G) use% ob state I/O%

---- ------------ ---------- ---------- ---------- ------ ---------- -----

[ 1] dev1 18.686 0.523 18.163 2.80% writeable 5.0

---- ------------ ---------- ---------- ---------- ------

total: 18.686 0.523 18.163 2.80%


在这里,我们上传文件验证我们的配置

# mogupload 上传文件

Usage: /usr/bin/mogupload --trackers=host --domain=foo --key='/hello.jpg' --file='./hello.jpg'

创建domain

# mogadm domain add files

#mogupload --trackers=172.16.4.12 --domain=files --key='/etc/fstab' --file='/etc/fstab'

查看上传的文件信息

# mogfileinfo --trackers=172.16.4.12 --domain=files --key='/etc/fstab'

/etc/fstab'

- file: /etc/fstab

class: default

devcount: 1

domain: files

fid: 2

key: /etc/fstab

length: 921

- http://172.16.4.7:7500/dev1/0/000/000/0000000002.fid

配置另一个mogstore节点

和前面的配置相同,配置完成后启动服务

#service mogstored start

#ss -tanl 确保7500、7501端口打开

接着回到tracker节点

添加mogstorge节点和存储空间

173010497.png

173010569.png


模拟一个节点down

# mogadm host mark server1 down

173051678.png

重新启用节点

# mogadm host mark server1 alive

173010569.png

到这里,所有配置完成了,在具体工作环境中应用要多一些mogstore节点,以实现服务不会因为某个节点出现故障而中断服务





本文转自 宋鹏超 51CTO博客,原文链接:http://blog.51cto.com/qidian510/1308158,如需转载请自行联系原作者

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
7月前
|
关系型数据库 MySQL Apache
LAMP源码安装配置实战
LAMP源码安装配置实战
93 3
|
2月前
|
tengine 关系型数据库 MySQL
Tengine、Nginx安装MySQL数据库命令教程
本指南详细介绍了在Linux系统上安装与配置MySQL数据库的步骤。首先通过下载并安装MySQL社区版本,接着启动MySQL服务,使用`systemctl start mysqld.service`命令。若启动失败,可尝试使用`sudo /etc/init.d/mysqld start`。利用`systemctl status mysqld.service`检查MySQL的服务状态,确保其处于运行中。通过日志文件获取初始密码,使用该密码登录数据库,并按要求更改初始密码以增强安全性。随后创建一个名为`tengine`的数据库,最后验证数据库创建是否成功以及完成整个设置流程。
|
应用服务中间件 Linux 程序员
【服务器环境搭建】Linux安装Nginx
最近要部署一个项目 但是不能用 宝塔面板 啊这!赶快学习学习Linux安装Nginx!
292 0
|
存储 负载均衡 应用服务中间件
【FastDFS】小伙伴们说在CentOS 8服务器上搭建FastDFS环境总报错?
在【冰河技术】微信公众号的【分布式存储】专题中,我们分别搭建了单节点FastDFS环境和高可用FastDFS集群环境。但是,之前的环境都是基于CentOS 6.8服务器进行搭建的。很多小伙伴反馈说:自己在CentOS 8服务器上,按照我写的文章搭建FastDFS环境时,会失败!看到小伙伴们的这些问题,我今天就给大家分享下如何在CentOS 8服务器上搭建FastDFS环境。
217 0
【FastDFS】小伙伴们说在CentOS 8服务器上搭建FastDFS环境总报错?
|
应用服务中间件 nginx
FastDFS&Nginx分布式文件系统安装教程
FastDFS&Nginx分布式文件系统安装教程
359 0
FastDFS&Nginx分布式文件系统安装教程
|
分布式计算 关系型数据库 MySQL
超详细hadoop集群服务器安装配置教程
虚拟机以及Linux系统安装在之前的两篇分享中已经详细的介绍了方法,并且每一步的都配图了。如果有朋友还是看不懂,那我也爱莫能助了。本篇主要就hadoop服务器操作系统配置进行详细说明,hadoop安装会在下一篇文章中详细的介绍。
12003 0
|
关系型数据库 开发工具 存储
mogilefs 安装与配置
安装步骤 配置yum 的epel源 yum install perl-Sys-Syslog perl-IO-AIO perl-Net-Netmask -y # 安装依赖的包 取得mogilefs的rpm包 MogileFS-Server-2.
1000 0
|
网络安全 开发工具 Ruby
|
分布式计算 数据库 Spark