Linux--GlusterFS分布式文件系统群集

简介: Linux--GlusterFS分布式文件系统群集

一,简介

1.GlusterFS 概述

       GlusterFS (Gluster File System) 是一个开源的分布式文件系统,主要由 Z RESEARCH公司负责开发。GlusterFS 是 Scale-Out 存储解决方案 Gluster 的核心,具有强大的横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS 借助 TCP/IP 或 InfiniBand RDMA 网络将物理分布的存储资源聚集在一起,使用单一全局命名空间来管理数据。GlusterFS 基于可堆叠的用户空间设计,可为各种不同的数据负载提供优异的性能。

2.GlusterFS特点

1.扩展性和高性能:GlusterFS利用双重特性来提供高容量存储解决方案。

Scale-Out架构通过增量存储节点的方式来提供存储容量和性能(磁盘,计算和IO资源都可以独立增加),支持10GbE和infiniBand等高速网络互联


Gluter弹性哈希解决了GlusterFS对元数据服务器的依赖,GlusterFS采用弹性哈希算法在存储池中定位数据,放弃了传统的通过元数据服务器定位数据。

2.高可用:GlusterFS通过配置某些类型的存储卷,可以对文件自动复制,即使某个节点出现故障,也不影响数据的访问

3.全局统一命名空间:全局统一命名空间将所有的存储资源集成一个单一的虚拟存储池,对用户和应用屏蔽了物理存储信息。

4.弹性卷管理:GlusterFS通过将数据储存在逻辑卷中,逻辑卷从逻辑存储池进行独立逻辑划分。逻辑存储池可以在线进行增加和移除,不会导致业务终端。

5.基于标准协议:Gluster存储服务支持NFS,CLFS,HTTP,FTP,SMB及Gluster原生协议,完全与POSIX标准兼容。

3.GlusterFS术语

Brick(存储块):指可信主机池中由主机提供的用于物理存储的专用分区。

Volume(逻辑卷):一个逻辑卷是一组Brick的集合。卷是数据存储的逻辑设备,类似于LVM中的逻辑卷

FUSE:是一个内核模块,允许用户创建自己的文件系统,无须修改内核代码。

VFS:内核空间对用户空间提供的访问磁盘的接口

Glusterd(后台管理进程):在存储群集中的每个节点上都要运行。


二,GlusterFS的卷类型

GlusterFS支持七种卷,即分布式卷,条带卷,复制卷,分布式条带卷,分布式复制卷,条带复制卷和分布式条带复制卷。

基本卷:

分布式卷:文件通过HASH算法分布到所有Brick Server上,这种卷是Glusterfs的基础;以文件为单位根据HASH算法散列到不同Brick,其实只是扩大了磁盘空间,如果有一块磁盘损坏,数据也将丢失,属于文件级的RAID 0,不具有容错能力。

     特点:文件分布在不同的服务器,不具备冗余性,更容易且廉价地扩展卷的大小,单点故障会造成数据丢失,依赖底层的数据丢失

条带卷:类似于RAID 0,文件被分成数据块并以轮询的方式分布到多个Brick Server上,文件存储以数据块为单位,支持大文件存储,文件越大,读取效率越高。

特点:数据被分割成更小块分布到块服务器群中的不同条带区,分布减少了负载且更小的文件加速了存取的速度,没有数据冗余

复制卷:将文件同步到多个Brick上,使其具备多个文件副本,属于文件级RAID 1,具备容错能力。

 特点:卷中所有的服务器均保存一个完整的副本,卷的副本数量可由客户创建的时候决定,至少有两个块服务器或更多服务器,具备冗余性。

分布式条带卷: Brick Server数量是条带数的倍数,兼具分布式卷和条带卷的特点。

分布式复制卷: Brick Server数量是镜像数的背书,兼具分布式卷和复制卷的特点。

条带式复制卷: 类似于RAID 10,同时具有条带卷和复制卷的特点。

分布式条带复制卷:  三种基本卷的复合卷,通常用于类Map Reduce应用。


目录
相关文章
|
1月前
|
消息中间件 Java Linux
2024年最全BATJ真题突击:Java基础+JVM+分布式高并发+网络编程+Linux(1),2024年最新意外的惊喜
2024年最全BATJ真题突击:Java基础+JVM+分布式高并发+网络编程+Linux(1),2024年最新意外的惊喜
|
8天前
|
Linux 数据安全/隐私保护 Windows
分布式系统详解--Linux(权限)
分布式系统详解--Linux(权限)
12 0
|
1月前
|
消息中间件 运维 Linux
运维最全Linux 命令大全之scp命令_linux scp 指令(1),2024年最新从消息中间件看分布式系统的多种套路
运维最全Linux 命令大全之scp命令_linux scp 指令(1),2024年最新从消息中间件看分布式系统的多种套路
|
7月前
|
自然语言处理 Linux
分布式系列教程(34) -Linux下安装ik分词器
分布式系列教程(34) -Linux下安装ik分词器
297 1
|
7月前
|
存储 数据可视化 数据挖掘
分布式系列教程(28) -Linux环境安装Kibana
分布式系列教程(28) -Linux环境安装Kibana
82 0
|
7月前
|
Linux
分布式系列教程(37) -Linux下搭建ElasticSearch集群
分布式系列教程(37) -Linux下搭建ElasticSearch集群
46 1
分布式系列教程(37) -Linux下搭建ElasticSearch集群
|
1月前
|
Linux
Linux下Zookeeper分布式安装与配置
Linux下Zookeeper分布式安装与配置
276 0
|
7月前
|
Linux
分布式系列教程(40) -Linux下安装Logstash
分布式系列教程(40) -Linux下安装Logstash
47 1
|
7月前
|
前端开发 Java Linux
分布式系列教程(27) -Linux环境下安装Elasticsearch
分布式系列教程(27) -Linux环境下安装Elasticsearch
120 1
|
6月前
|
Dart Linux 开发工具
Linux | 分布式版本控制工具Git【版本管理 + 远程仓库克隆】-2
Linux | 分布式版本控制工具Git【版本管理 + 远程仓库克隆】
48 0