《存储漫谈Ceph原理与实践》第三章接入层3.2对象存储RGW(一)-阿里云开发者社区

开发者社区> 人民邮电出版社> 正文

《存储漫谈Ceph原理与实践》第三章接入层3.2对象存储RGW(一)

简介: 《存储漫谈Ceph原理与实践》第三章接入层3.2对象存储RGW
+关注继续查看

3.2.1      对象存储和S3

 

1.  什么是对象存储

 

对象存储,也称为基于对象的存储,是一种采用扁平化数据组织的新型存储方式。对   象存储主要用于处理海量半结构化或者非结构化数据,常用于备份归档、静态网站托管、视频存储以及无纸化办公、网盘等场景。同时,根据具体应用场景和业务使用形态,对象   存储可进一步细分为多种不同存储类别,如标准存储、低频存储、归档存储等。在数据组   织形态上,文件数据通常会被分解为称为“对象”的离散单元,并保存在多个存储库中,而不是作为文件夹中的文件或服务器上的块来保存,这也是对象存储与传统文件存储、块   存储的本质区别。同时,其使用方式也与文件存储、块存储有着较大差异,对象存储主要   采用基于 HTTP(s) 的访问方式,只要网络可达,就可以便捷地使用对象存储服务,因此也通常将之称为云存储。


Ceph本身采用分层架构设计,其中底层架构核心之一的 RADOS本身就是一套分布式对象存储系统,主要通过开放librados库来提供对象接口访问底层 RADOS集群,但由于它只提供私有访问接口,无法提供基于 HTTP(s) 通用协议的访问方式,因而使用上十分受限。Ceph 其实还是一个真正意义上的软件定义统一存储解决方案,可同时提供块存储、对象存储以及文件存储访问能力,其主要是在接入层通过调用 librados接口实现了不同存储网关类型,如对象网关、块存储网关等。其中对象存储网关 RGW(RADOSGateWay)更是通过适配云存储领域中应用最为广泛的AmazonS3和 OpenStackSwift 接口协议,使得用户应用无须任何改造就可轻松接入 Ceph提供的对象存储系统中。上述的S3接口协议和Swift接口协议也已成为新型对象存储接口的事实标准。


在 Ceph 分层架构中,RGW 属于接口层,位于 RADOS 集群之上。RGW 通过对 S3 和Swift接口语义的实现,可提供基于用户(User)、存储桶(Bucket)、对象(Object)以及统计(Statistics)等多种不同业务、运维类型的接口操作。目前 Ceph  的  RGW  服务并没有完全兼容S3或者 Swift 接口,但是其功能也在快速完善过程中,同时也引入了更多新的功能特性,进一步丰富了业务使用场景。比如通过 librgw提供基于POSIX语义的使用 方式来访问对象存储,同时还可结合对象存储生命周期功能和存储类别(StorageClass),实现数据的分层迁移动作。其他更多功能特性,读者有兴趣也可以查阅官方文档。


2.  对象存储的应用领域

 

随着云计算、大数据等新技术的快速兴起,各行各业开始快速拥抱这些新兴技术,以   解决行业所面临的难题,实现业务转型。计算、存储、网络作为云数据中心 IaaS层的三大件,一直拥有无可撼动的地位。物联网、地理信息系统、视频监控存储、工业互联网 4.0、医疗PACS影像、虚拟化应用等每天都在催生海量数据(含结构化、半结构化以及非结构化数据),其中大部分为非结构化数据。如何有效应对并解决DT时代ZB 级非结构化数据的存储需求,接入层传统集中式存储面临着诸多挑战,已经显得力不从心。具体体现在如下几个方面。

(1)海量数据带来应用复杂性增长,数据的存放、管理、利用成为难题。

(2)云计算、大数据等场景下,要求存储架构弹性扩展、敏捷响应。

(3)传统存储部署复杂、资源浪费,数据难以共享,已经无法满足新的需求。

伴随着用户需求的变化和存储技术的变革,软件定义存储能够提供给客户更好的性能,更高的灵活性和开放性,更强的扩展性,更简单的管理以及更少的用户投入。为应对这种   海量非结构化数据的存储需求,采用扁平化数据存储组织方式的分布式对象存储技术成了   一颗冉冉升起的新星。


3.  RGW数据组织结构

 

在对象存储系统中,包含3个基本概念,即用户(User、存储桶(Bucket和对象

(Object。为更好理解对象存储网关RGW的实现本质,下面就对这3个概念及其基本特征进行重点阐述。

(1)用户(User)

用户(User)指的是对象存储应用的使用者,可以是一个独立的个体,也可以是系统的一个角色(如一个应用)。只有创建了用户并赋予了相关权限之后,才允许访问存储   集群对应的存储池和数据。用户管理在 Ceph 集群中属于管理功能,可以通过管理员直接创建、更新、删除用户或者对用户赋予对应的caps 权限。同一个用户可以拥有一个或者多个存储桶,同时还可以为用户创建对应的子账户。

(2)  存储桶(Bucket)

存储桶(Bucket)是CephRGW 中存储对象的容器,是用户用来管理存储对象的逻辑存储空间。Ceph 对象存储服务提供了基于桶和对象的扁平化存储方式,桶中的所有对象都处于同一逻辑层级,去除了文件系统中的多层级树形目录结构。每个存储桶都有自己的访问权限、所属区域等属性,用户可以在不同区域创建不同存储类别和访问权限的桶,并配置更多高级属性来满足不同场景的存储诉求。

对象存储服务设置有多种桶存储类别,分别为标准存储、低频访问存储、归档存储类型,从而满足客户业务对存储性能、成本的不同诉求。创建桶时可以指定桶的存储类别,桶的   存储类别也可以在创建之后进行修改。在 Ceph中,同一个租户(tenant)命名空间下,桶名必须是全局唯一的且不能修改,即用户创建的桶不能与自己已创建的其他桶名称相同,   也不能与其他用户创建的桶名称相同。桶所属的区域在创建后也不能修改。每个桶在创建时都会生成默认的桶ACL(AccessControlList),桶ACL的每项包含了对被授权用户授予什么样的权限,如读取权限、写入权限等。用户只有对桶有相应的权限,才可以对桶进   行相应的操作,如创建、删除、显示、设置桶 ACL等。一个默认账号可创建1000个桶。每个桶中存放的对象的数量和大小总和默认没有限制,用户不需要考虑数据的可扩展性。   存储桶命名规则如下。

◆  只能包含小写字母,数字和短横线(-);

◆  必须以小写字母或数字开头;

◆  长度必须在 3~63字节之间。

存储桶是用户管理对象的单位,所有对象都必须属于一个存储桶。存储桶具有一些属   性来控制区域,如对象访问控制、对象生命周期等。这些属性适用于存储桶下的所有对象,因此用户可以灵活地创建不同的存储桶,以完成不同的管理功能。


(3)  对象(Object)

对象(Object)是 Ceph对象存储服务中数据存储的基本单位(区别于 RADOS层的文件数据切片Object概念),一个对象实际是一个文件的数据及其相关属性信息(元数据)的集合体。用户上传至 Ceph 对象存储系统的数据都以对象的形式保存在存储桶(Bucket)中。一个对象一般包括键值(Key)、元数据(Metadata)、实体数据(Data)三部分。

Key    :键值,即对象的名称。一个桶里的每个对象必须拥有唯一的对象键值。对象文件命名规则为经过 UTF-8编码的长度大于 0且不超过 1024 的字符序列,对象的名称对大小写敏感。

Metadata :对象元数据,即对象的描述信息,包括系统元数据和用户元数据。这些元数据以键值对(Key-Value)的形式被上传到 Ceph中。

◆  系统元数据由Ceph自动生成,在处理对象数据时使用,包括DateContentlength、Last-modify、Content-MD5等;

◆  用户元数据由用户在上传对象时指定,是用户自定义的对象描述信息。

Data:实体数据,即文件的数据内容。

通常情况下,人们将对象等同于文件来进行管理,但是由于 Ceph   RGW提供的是一种对象存储服务,并没有文件系统中的文件和文件夹概念。为了使用户更方便地进行数据   理,CephRGW提供了一种方式来模拟文件夹层级。通过在对象的名称中增加“/”,例如采用“test/123.jpg”的命名方式,此时,“test”就被模拟成了一个文件夹,“123.jpg”则模拟成“test”文件夹下的文件名了,而实际上,对象名称(Key)仍然是“test/123..jpg”。上传对象时,可以指定对象的存储类别,若不指定,默认与桶的存储类别一致。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
带你读《存储漫谈Ceph原理与实践》第三章接入层3.3.文件存储 CephFS(三)
《存储漫谈Ceph原理与实践》第三章接入层3.3.文件存储 CephFS
22 0
带你读《存储漫谈Ceph原理与实践》第三章接入层3.2对象存储RGW(二)
《存储漫谈Ceph原理与实践》第三章接入层3.2对象存储RGW
14 0
带你读《存储漫谈Ceph原理与实践》第二章Ceph 架构2.3Ceph 的归置组(一)
《存储漫谈Ceph原理与实践》第二章Ceph 架构2.3Ceph 的归置组
45 0
三分钟带你认识注解 | 带你学《Java面向对象编程》之四十五
本节将为读者介绍JDK1.5之后诞生的新特性-注解式编程方式,并为读者深度剖析其出现的价值与意义。
512 0
带你读《存储漫谈Ceph原理与实践》第三章接入层3.1块存储 RBD(二)
《存储漫谈Ceph原理与实践》第三章接入层3.1块存储 RBD(二)
29 0
带你读《存储漫谈Ceph原理与实践》第二章Ceph 架构2.4小结
带你读《存储漫谈Ceph原理与实践》第二章Ceph 架构2.4小结
13 0
472
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载