《Ceph源码分析》——第1章,第4节Ceph客户端接口

简介:

本节书摘来自华章出版社《Ceph源码分析》一书中的第1章,第1.4节Ceph客户端接口,作者常涛,更多章节内容可以访问云栖社区“华章计算机”公众号查看

1.4 Ceph客户端接口
Ceph的设计初衷是成为一个分布式文件系统,但随着云计算的大量应用,最终变成支持三种形式的存储:块存储、对象存储、文件系统,下面介绍它们之间的区别。

1.4.1 RBD
RBD(rados block device)是通过librbd库对应用提供块存储,主要面向云平台的虚拟机提供虚拟磁盘。传统SAN就是块存储,通过SCSI或者FC接口给应用提供一个独立的LUN或者卷。RBD类似于传统的SAN存储,都提供数据块级别的访问。
目前RBD提供了两个接口,一种是直接在用户态实现,通过QEMU Driver供KVM虚拟机使用。另一种是在操作系统内核态实现了一个内核模块。通过该模块可以把块设备映射给物理主机,由物理主机直接访问。
块存储用作虚拟机的硬盘,其对I/O的要求和传统的物理硬盘类似。一个硬盘应该是能面向通用需求的,既能应付大文件读写,也能处理好小文件读写。也就是说,块存储既需要有较好的随机I/O,又要求有较好的顺序I/O,而且对延迟有比较严格的要求。

1.4.2 CephFS
CephFS通过在RADOS基础之上增加了MDS(Metadata Server)来提供文件存储。它提供了libcephfs库和标准的POSIX文件接口。CephFS类似于传统的NAS存储,通过NFS或者CIFS协议提供文件系统或者文件目录服务。
Ceph最初的设计为分布式文件系统,其通过动态子树的算法实现了多元数据服务器,但是由于实现复杂,目前还远远不能使用。目前可用于生产环境的是最新Jewel版本的CephFS为主从模式(Master-Slave)的元数据服务器。

1.4.3 RadosGW
RadosGW基于librados提供了和Amazon S3接口以及OpenStack Swift接口兼容的对象存储接口。可将其简单地理解为提供基本文件(或者对象)的上传和下载的需求,它有两个特点:
提供RESTful Web API接口。
它采用扁平的数据组织形式。

  1. RESTful的存储接口
    其接口值提供了简单的GET、PUT、DEL等其他接口,对应对象文件的上传、下载、删除、查询等操作。可以看出,对象存储的I/O接口相对比较简单,其I/O访问模型都是顺序I/O访问。
  2. 扁平的数据组织形式
    NAS存储提供给应用的是一个文件系统或者是一个文件夹,其实质就是一个层级化的树状存储组织模式,其嵌套层级和规模在理论上都不受限制。

这种树状的目录结构为早期本地存储系统设计的信息组织形式,比较直观,容易理解。但是随着存储系统规模的不断扩大,特别是到了云存储时代,其难以大规模扩展的缺点就暴露了出来。相比于NAS存储,对象存储放弃了目录树结构,采用了扁平化组织形式(一般为三级组织结构),这有利于实现近乎无限的容量扩展。它使用业界标准互联网协议,更加符合面向云服务的存储、归档和备份需求。
图1-3 Amazon S3的对象存储结构


9d84cd6c4f34cde505edbb3534841ebe3946627a

由于Amazon在云存储领域的影响力,Amazon的S3接口已经成为事实上的对象存储的标准接口。如图1-3所示,其接口分三级存储:Account/Bucket/Object(账户/桶/对象)。一个Account可以看作一个用户(租户),其下可以包含若干个的Bucket,一个Bucket可以拥有若干对象,其数量在理论上都不受限制。
在云计算领域,OpenStack已经成为广泛采用的云计算管理系统,OpenStack的对象存储接口Swift也成为广泛采用的接口,如图1-4所示,其也采用分三级存储:Account/Container/Object(账户/容器/对象),每层节点数均没有限制。可以看出,Swift接口和S3类似,Swift的Container对应S3的Bucket概念。Swift接口和S3接口没有太大的区别,但是一些管理接口会有一些差别。
图1-4 OpenStack Swift对象存储结构


5ebfd8232a2d006b964238d6e9c8b00c865c5e93
相关文章
|
存储 Kubernetes Cloud Native
带你读《存储漫谈Ceph原理与实践》第一章分布式存储概述1.3Ceph 的发展历程
《存储漫谈Ceph原理与实践》第一章分布式存储概述1.3Ceph 的发展历程
|
资源调度 前端开发 JavaScript
开源项目:Linux系统docker安装jeecg-boot低代码开发平台(更新于2022.2.14)
开源项目:Linux系统docker安装jeecg-boot低代码开发平台(更新于2022.2.14)
1571 0
开源项目:Linux系统docker安装jeecg-boot低代码开发平台(更新于2022.2.14)
|
存储 监控 算法
《Ceph源码分析》——导读
本节书摘来自华章出版社《Ceph源码分析》一书中的导读,作者常涛,更多章节内容可以访问云栖社区“华章计算机”公众号查看 目  录序言第1章 Ceph整体架构 **1.1 Ceph的发展历程1.2 Ceph的设计目标1.
7659 1
|
网络协议 开发者 Python
Socket如何实现客户端和服务器间的通信
通过上述示例,展示了如何使用Python的Socket模块实现基本的客户端和服务器间的通信。Socket提供了一种简单且强大的方式来建立和管理网络连接,适用于各种网络编程应用。理解和掌握Socket编程,可以帮助开发者构建高效、稳定的网络应用程序。
795 10
|
存储 关系型数据库 文件存储
Ubuntu22.04LTS基于cephadm快速部署Ceph Reef(18.2.X)集群
这篇文章是关于如何在Ubuntu 22.04LTS上使用cephadm工具快速部署Ceph Reef(18.2.X)存储集群的详细教程,包括ceph的基本概念、集群的搭建步骤、集群管理以及测试集群可用性等内容。
4947 8
Ubuntu22.04LTS基于cephadm快速部署Ceph Reef(18.2.X)集群
|
网络协议 NoSQL API
深入理解 RDMA 的软硬件交互机制
本文深入分析了RDMA技术在数据中心高性能网络环境下的工作原理及软硬件交互机制,通过对比传统Kernel TCP,突出了RDMA在减少延迟、提高系统性能方面的优势,同时讨论了其在内存管理、软硬交互方面的关键技术和挑战,为读者提供了全面理解RDMA技术及其应用场景的视角。
7892 8
|
Shell 容器
Ceph Reef(18.2.X)访问ceph集群的方式及管理员节点配置案例
这篇文章是关于Ceph Reef(18.2.X)版本中访问ceph集群的方式和管理员节点配置的案例,介绍了使用cephadm shell的不同方式访问集群和如何配置管理节点以方便集群管理。
983 5
|
存储 算法 开发者
etcd入门指南
etcd入门指南
1318 4
etcd入门指南
|
存储 缓存 负载均衡
图解一致性哈希算法,看这一篇就够了!
近段时间一直在总结分布式系统架构常见的算法。前面我们介绍过布隆过滤器算法。接下来介绍一个非常重要、也非常实用的算法:一致性哈希算法。通过介绍一致性哈希算法的原理并给出了一种实现和实际运用的案例,带大家真正理解一致性哈希算法。
31140 66
图解一致性哈希算法,看这一篇就够了!
|
机器学习/深度学习 算法 数据可视化
面向萌新的数学建模入门指南
面向萌新的数学建模入门指南
1636 0