带你读《存储漫谈Ceph原理与实践》第二章Ceph 架构2.2 Ceph 数据寻址(一)-阿里云开发者社区

开发者社区> 人民邮电出版社> 正文

带你读《存储漫谈Ceph原理与实践》第二章Ceph 架构2.2 Ceph 数据寻址(一)

简介: 带你读《存储漫谈Ceph原理与实践》第二章Ceph 架构2.2Ceph 数据寻址
+关注继续查看

在从方案演进及变迁的较为宏观角度对比了分布式存储系统的有中心架构与无中心架构寻址方式之后,本小节将深入Ceph 存储系统的数据寻址方案,进行详细介绍。

在   PB   级数据存储和成百上千台存储服务器纳管的需求背景下,大规模分布式存储系统必须做到数据和负载的均衡分布,以此来提高资源利用率,最大化系统的性能输出,同   时要处理好系统的扩展和硬件失效问题。Ceph设计了一套 CRUSH 算法,用在分布式对象存储系统(RADOS)上,可以有效地将数据对象(Object)映射到存储设备(OSD)上。CRUSH     算法能够处理存储设备的添加和移除,并最小化由于存储设备的添加和移动而导致的数据迁移。

 

CRUSH 算法有两个关键优点。

(1)  任何组件都可以独立计算出 Object所在的位置(去中心化)。

(2)  运算过程只需要很少的集群元数据(ClusterMap),只有当存储集群添加或删除设备时,这些元数据才会发生改变。

这些特性使得 CRUSH 适合管理对象分布非常大的(PB级别)且要求可伸缩性、性能和可靠性非常高的存储系统。


2.2.1     Ceph寻址流程

为了讲清楚 Ceph 寻址流程,这里先介绍一下常用术语。

◆  File

File   是要存储和访问的文件,它是面向用户的,也是可直观操作的对象,在块存储使用场景,File 指挂载出去使用的RBD设备;在对象存储使用场景,File指用户可见的音视频或其他格式的用户数据;在文件存储使用场景,File 指文件系统中存储的用户数据。

◆  Object

Object是 Ceph底层 RADOS所看到的对象,也是在 Ceph中数据存储的基本单位,当 File过大时,需要将File切分成统一大小的 Object进行存储,每个 Object应包含 ID、BinaryData和 Metadata信息。Object的大小可由 RADOS限定(通常为 4MB,可依据需要进行配置)。

◆  PG

PG(PlacementGroup)是一个逻辑的概念,它的用途是对 RADOS层 Object的存储进行组织和位置的映射,通过PG概念的引入,Ceph 存储系统可以更好地分配数据和定位数据,PG是 Ceph存储系统数据均衡和恢复的最小单位。

◆  Pool

Pool规定了数据冗余的类型,如副本模式、纠删码模式,对于不同冗余类型的数据存储,需要单独的 Pool划分,即每个 Pool只能对应一种数据冗余类型的规则。每个 Pool内可包含多个 PG。

◆  OSD

如第 1章介绍,OSD(ObjectStorageDevice)服务负责数据的存取,并处理数据的复制、恢复、回填、再均衡等任务。

PG和 Object 是一对多的关系,1个 PG里面组织若干个 Object,但是 1个 Object只射到 1个 PG 中。

PGOSD是多对多的关系,1PG会映射到多个OSD(依照副本或者纠删码规则),每个 OSD也会承载多个 PG

PG和 Pool是多对一的关系,1个 Pool内包含多个 PG,Pool创建时可指定其中 PG的数量(通常为2的指数次幂),Pool创建之后,也可以通过命令对其进行调整。

图 2-1展示了 Ceph 的寻址流程,可以看到,Ceph的寻址需要经历 3次映射。

 

 image.png

图 2-1Ceph寻址流程

 

 

首先,将File切分成多个 Object

每个Object都有唯一的IDOID,OID根据文件名称得到,由ino和ono构成, ino为文件唯一ID(比如filename+timestamp),ono则为切分后某个Object的序号(如0、 1、2、3、4、5等),根据该文件的大小我们就会得到一系列的OID。

其次,将每个 Object映射到一个 PG中去。

实现方式也很简单,对 OID进行 Hash 运算,然后对运算结果进行按位与计算,即可得到某一个 PG的 ID。图中的mask掩码设置为 PG的数量减 1。

我们认为得到的 pgid是随机的,这与 PG的数量和文件的数量有关系,在足够量级PG数量的前提下,集群数据是均匀分布的。最后,将 Object所在的 PG映射到实际的存储位置 OSD上。

这里应用的就是 CRUSH算法了,CRUSH算法可以通过 pgid得到多个 OSD(与副本或者纠删码的配置策略有进程。

可以看到,Ceph 存储系统的数据寻址过程只需要输入文件的名称以及文件的大小等信息,所有计算过程都可以直接在客户端本地完成。Ceph客户端只要获得了 ClusterMap, 就可以使用 CRUSH算法计算出某个 Object所在OSD的 id,然后直接与它通信。Ceph客户端在初始化时会从Monitor服务获取最新的 Cluster   Map,随后采用反向订阅机制,仅当Monitor服务中记录的ClusterMap 发生变化时,才主动向Ceph 客户端进行推送。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
带你读《存储漫谈Ceph原理与实践》第三章接入层3.3.文件存储 CephFS(四)
带你读《存储漫谈Ceph原理与实践》第三章接入层3.3.文件存储 CephFS
18 0
带你读《存储漫谈Ceph原理与实践》第二章Ceph 架构2.3Ceph 的归置组(一)
《存储漫谈Ceph原理与实践》第二章Ceph 架构2.3Ceph 的归置组
45 0
带你读《存储漫谈Ceph原理与实践》第二章Ceph 架构2.2 Ceph 数据寻址(三)
带你读《存储漫谈Ceph原理与实践》第二章Ceph 架构2.2 Ceph 数据寻址
13 0
一句代“.NET技术”码实现批量数据绑定[上篇]
  对于一个以数据处理为主的应用中的UI层,我们往往需要编写相当多的代码去实现数据绑定。如果界面上的控件和作为数据源的实体类型之间存储某种约定的映射关系,我们就可以实现批量的数据绑定。为了验证这种想法,我写了一个小小的组件。
592 0
《存储漫谈Ceph原理与实践》第三章接入层3.2对象存储RGW(一)
《存储漫谈Ceph原理与实践》第三章接入层3.2对象存储RGW
19 0
带你读《存储漫谈Ceph原理与实践》第二章Ceph 架构2.4小结
带你读《存储漫谈Ceph原理与实践》第二章Ceph 架构2.4小结
13 0
带你读《存储漫谈Ceph原理与实践》第三章接入层3.1块存储 RBD(三)
带你读《存储漫谈Ceph原理与实践》第三章接入层3.1块存储 RBD
12 0
472
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载