mogilefs-企业级分布式存储应用与实战

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介:

mogilefs-企业级分布式存储应用与实战

项目场景:

公司已经有了大量沉淀用户,为了让这些沉淀用户长期使用公司平台,公司决定增加用户粘性,逐步发展基于社交属性的多样化业务模式,决定开展用户讨论区、卖家秀、买家秀、用户试穿短视频等业务,因此,公司新的业务的业务特征将需要海量数据存储,要求基于开源技术,实现对公司海量存储业务的技术研究和实现。

项目分析:

 Web 2.0 时代的到来,使得单个计算机节点远远无法满足用户对海量数据和应用程序运行空间的需求。个人和企业都有安全而持久的存储信息的需求,备份成为最通俗的手段。个人用户通过保存多个拷贝的形式实现信息存储的安全,但如果多个拷贝都失去,那么就崩溃了。存储需要保持实时读写,提供复杂的查询功能,缺乏容灾和备份能力,大量无结构的数据的存储和处理,对传统的存储方式提出挑战。

 分布式存储,就是将数据信息分散存储,在网络发达的现代,这种存储利用多台存储服务器,部署简单化,操作智能化,稳定、可靠、易扩展。然而虽然缓解了问题,但依然存在的难点与挑战。例如:节点间通信、数据存储、数据空间平衡、容错、文件系统支持等一系列问题仍处在不断摸索和完善中。

MogileFS是一个开源的分布式文件存储系统, 目前使用MogileFS 的公司非常多。Mogilefs具有以下特性:

1、支持多节点冗余

2、可实现自动的文件复制

3、使用名称空间(命名空间),每个文件通过key来确定

   比如:123.jpg /000/000/00/01/md5hash.fid  前者是key,后者是真实的存储文件名

  4、不需要RAID,应用层可以直接实现RAID

  5、工作于应用层,没有特殊的组件要求

  6、不共享任何数据,通过“集群”接口提供服务。MogileFS不需要依靠昂贵的SAN来共享磁盘,每个机器只用维护好自己的磁盘。

  Mogilefs架构:

mogileFS主要由三部分构成:tracker节点,database节点,storage节点。

blob.png 

   每次文件的上传和读取,都经过前端TrackerServer服务器,trackerServer服务器收到client端的请求,查询数据库,返回一个上传或者是读取的可用的后端StorageServer的地址,然后由client端直接操作后端StorageServer服务器。


项目环境:

    mysql+tracker服务器:ip 172.17.13.136

    storage node1主机:        ip 172.17.13.134

   storage node2主机:        ip 172.17.13.135


项目实现:


一、所有节点都安装perl相关包:

yum install perl-Net-Netmask perl-IO-String perl-Sys-Syslog perl-IO-AIO

mkdir ~/mogilefs 创建一个目录用来存放下面需要安装的rpm

cd ~/mogilefs

lftp 172.17.0.1  连接服务器下载rpm

>cd /pub/Sources/7.x86_64/mogilefs/

>mget *

>exit

yum localinstall ./* 安装

本地安装的rpm包有:ls ~/mogilefs

MogileFS-Server-2.46-2.el6.noarch.rpm        #核心服务

perl-Danga-Socket-1.61-1.el6.rf.noarch.rpm     #socket

MogileFS-Server-mogilefsd-2.46-2.el6.noarch.rpm  # tracker节点

perl-MogileFS-Client-1.14-1.el6.noarch.rpm    #客户端

MogileFS-Server-mogstored-2.46-2.el6.noarch.rpm  #Storage存储节点

MogileFS-Utils-2.19-1.el6.noarch.rpm   #主要是MogileFS的一些管理工具,例如mogadm等。

perl-Perlbal-1.78-1.el6.noarch.rpm

 

二、在mysql+tracker服务器操作:

1、安装数据库并启动服务

yum install mariadb-server

systemctl start mariadb

2、创建数据库并授权用户

【mysql -uroot -p   也可以不用授权,下面的命令会自动创建数据库和授权用户

>GRANT ALL PRIVILEGES ON modilefs.* TO 'mogile' @'127.0.0.1' IDENTIFIED BY 'mogile' WITH GRANT OPTION;  

>flush priveleges;】此步骤可省略

mogdbsetup --dbpass=123456  设置mogile用户密码,此命令会创建数据库mogilefs和授权用户mogile

blob.png  

3、修改mogilefs配置文件并启动服务

vim /etc/mogilefs/mogilefsd.conf

  改用户名密码:

    db_user = mogile

    db_pass = 123456

  监听端口为本机网卡的ip

    listen = 172.17.13.136:7001

vim /etc/mogilefs/mogilefs.conf

     trackers = 172.17.13.136:7001 避免每次在命令行执行命令都需要指定--tracker,即以下命令中的--tracker可以省略

启动服务

/etc/init.d/mogilefsd start   [如果是perl安装,那么启动时需切换到普通用户mogilfs]

blob.png 

4、检查

mogadm --tracker=172.17.13.136:7001 check

blob.png 

三、storage1storage2主机上操作:

1、创建工作目录并修改权限

mkdir -p /data/mogdata   

chown -R mogilefs.mogilefs /data/mogdata

2、修改配置文件并启动服务   

vim /etc/mogilefs/mogstored.conf

  工作目录:docroot = /data/mogdata

/etc/init.d/mogstored start 启动服务

blob.png 

四、在mysql+tracker服务器操作:

1、将上面准备的两个节点加入:  

mogadm --tracker=172.17.13.136:7001 host add nod1 --ip=172.17.13.134 --port=7500 --status=alive 

mogadm --tracker=172.17.13.136:7001 host add nod2 --ip=172.17.13.135 --port=7500 --status=alive

如果不小心写错ip或者状态了,可以使用下面的命令进行修改:

mogadm --tracker=172.17.13.136:7001 host modify nod1 --ip=xxx.xxx.xxx.xxx --status=xxx

2、检查

mogadm --tracker=172.17.13.136:7001 check 或者

mogadm --tracker=172.17.13.136:7001 host list

blob.png 

blob.png

五、在storeage1及storeage2主机操作:

创建块设备目录并且修改权限

storeage1:

mkdir /data/mogdata/dev1;chown mogilefs.mogilefs -R /data/mogdata/dev1

storeage2:

mkdir /data/mogdata/dev2;chown mogilefs.mogilefs -R /data/mogdata/dev2

六、在mysql+tracker服务器操作:

1、将上面的两个块设备加入:

mogadm --tracker=172.17.13.136:7001 device add nod1 1

mogadm --tracker=172.17.13.136:7001 device add nod2 2

2、查看加入的设备信息

mogadm device list 

blob.png 

也可以在数据库中查看信息:

mysql mysql -uroot -p

>use mogilfs;

>select * from device;

>select * from host;

blob.png 

blob.png

3、添加域:mogadm domain add img  这里添加的是img域

列出域:mogadm domain list 

 blob.png

4、在""中建"",并设置最小保存份数,即副本数

mogadm class add img c29 --mindevcount=3 表示在img域中创建c29类,最小副本数为3

blob.png 

七、所有机器上操作:

1、安装perl相关包

yum -y install make gcc unzip perl-DBD-MySQL perl perl-CPAN perl-YAML perl-Time-HiRes

2、下载Sys-Syscall-0.23.tar.gz包,并且实现自动复制

cd /tmp;wget http://search.cpan.org/CPAN/authors/id/B/BR/BRADFITZ/Sys-Syscall-0.23.tar.gz

②解包:tar xvf Sys-Syscall-0.23.tar.gz

③编译安装:cd Sys-Syscall-0.23/;perl Makefile.PL&&make install

④重启mogilefs服务(stop、start报错无所谓,查看端口已经开启即可):

tracker+mysql服务器操作:

    /etc/init.d/mogilefsd stop

    /etc/init.d/mogilefsd start

 所有机器操作:

     /etc/init.d/mogstored stop

     /etc/init.d/mogstored start


项目最终实现效果:

在Tracker+mysql服务器操作:上传文件,不指定类就上传至default类

mogupload --domain=img --key=photo [--class=c29] --file=2345_image_file_copy_2.jpg

mogfileinfo --domain=img --key=photo 查询文件

blob.png 

访问以下url都可显示出图片:

    http://172.17.13.135:7500/dev2/0/000/000/0000000005.fid

    http://172.17.13.134:7500/dev1/0/000/000/0000000005.fid

blob.png 


















本文转自lc0108131451CTO博客,原文链接:http://blog.51cto.com/13150617/2046600 ,如需转载请自行联系原作者


相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
11天前
|
存储 分布式计算 大数据
HBase分布式数据库关键技术与实战:面试经验与必备知识点解析
【4月更文挑战第9天】本文深入剖析了HBase的核心技术,包括数据模型、分布式架构、访问模式和一致性保证,并探讨了其实战应用,如大规模数据存储、实时数据分析及与Hadoop、Spark集成。同时,分享了面试经验,对比了HBase与其他数据库的差异,提出了应对挑战的解决方案,展望了HBase的未来趋势。通过Java API代码示例,帮助读者巩固理解。全面了解和掌握HBase,能为面试和实际工作中的大数据处理提供坚实基础。
57 3
|
11天前
|
设计模式 架构师 前端开发
JavaEE企业级分布式高级架构师课程
本课程主要面向1-5年及以上工作经验的Java工程师,大纲由IT界知名大牛 — 廖雪峰老师亲自打造,由来自一线大型互联网公司架构师、技术总监授课,内容涵盖深入spring5设计模式/高级web MVC开发/高级数据库设计与开发/高级响应式web开发/分布式架构设计等主流核心技术。
27 1
JavaEE企业级分布式高级架构师课程
|
11天前
|
安全 大数据 Go
Go语言在分布式系统中的应用
【2月更文挑战第20天】Go语言,以其独特的语言特性和出色的性能,逐渐成为分布式系统开发领域的热门选择。本文将深入探讨Go语言在分布式系统中的应用,分析其优势及实际应用案例,旨在为开发人员提供有价值的参考与启示。
|
11天前
|
消息中间件 RocketMQ 微服务
RocketMQ 分布式事务消息实战指南
RocketMQ 分布式事务消息实战指南
342 1
|
11天前
|
缓存 NoSQL Java
分布式项目中锁的应用(本地锁-_redis【setnx】-_redisson-_springcache)-fen-bu-shi-xiang-mu-zhong-suo-de-ying-yong--ben-de-suo--redissetnx-springcache-redisson(一)
分布式项目中锁的应用(本地锁-_redis【setnx】-_redisson-_springcache)-fen-bu-shi-xiang-mu-zhong-suo-de-ying-yong--ben-de-suo--redissetnx-springcache-redisson
66 0
|
11天前
|
Java 数据库连接 API
分布式事物【XA强一致性分布式事务实战、Seata提供XA模式实现分布式事务】(五)-全面详解(学习总结---从入门到深化)
分布式事物【XA强一致性分布式事务实战、Seata提供XA模式实现分布式事务】(五)-全面详解(学习总结---从入门到深化)
67 0
|
11天前
|
分布式计算 负载均衡 Java
构建高可用性Java应用:介绍分布式系统设计与开发
构建高可用性Java应用:介绍分布式系统设计与开发
14 0
|
11天前
|
监控 NoSQL 算法
探秘Redis分布式锁:实战与注意事项
本文介绍了Redis分区容错中的分布式锁概念,包括利用Watch实现乐观锁和使用setnx防止库存超卖。乐观锁通过Watch命令监控键值变化,在事务中执行修改,若键值被改变则事务失败。Java代码示例展示了具体实现。setnx命令用于库存操作,确保无超卖,通过设置锁并检查库存来更新。文章还讨论了分布式锁存在的问题,如客户端阻塞、时钟漂移和单点故障,并提出了RedLock算法来提高可靠性。Redisson作为生产环境的分布式锁实现,提供了可重入锁、读写锁等高级功能。最后,文章对比了Redis、Zookeeper和etcd的分布式锁特性。
151 16
探秘Redis分布式锁:实战与注意事项
|
11天前
|
存储 供应链 安全
区块链技术原理及应用:深入探索分布式账本技术
【4月更文挑战第30天】区块链,从加密货币的底层技术延伸至多元领域,以其分布式账本、去中心化、不可篡改性及加密技术重塑数据存储与交易。核心组件包括区块、链和节点,应用涵盖加密货币、供应链管理、金融服务等。尽管面临扩展性等挑战,未来潜力无限。
|
11天前
|
存储 消息中间件 监控
搭建分布式应用准备工作(从零到一)
搭建分布式应用准备工作(从零到一)