带你读《存储漫谈Ceph原理与实践》第三章接入层3.2对象存储RGW(六)

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 《存储漫谈Ceph原理与实践》第三章接入层3.2对象存储RGW(六)

3.2.6      未来展望

 

1.  RGW优势

 

CephRGW 在不断引入新功能的情况下,经历几次大规模的重构,整个架构设计分层清晰、责任明确,保证了整个RGW的可演进。RGW 当前的架构也充分考虑了非功能性的需求。

RGW通过引入 beastHTTP服务器前端以及使用 librados异步 API,逐渐向读写路

径异步化的方向演进。

在可观测性方面,RGW 也是在多个层面提供了支持。对于集中状态收集方面,得益于CephMGR组件的集成,RGW支持上报状态信息到MGR 中,为之后进一步导出观测指标到 MGR提供了支撑。

在运行时状态统计方面,RGW提供了adminsocket支持,支持单个RGW实例导出运行时的各类统计结果。

对于在线的请求跟踪分析方面,RGW也集成了基于 Jaeger的分布式请求跟踪。

在可管理性方面,RGW支持命令行管理工具 radosgw-adminHTTP协议的管理API。Ceph社区也在呼吁 radosgw-admin集成到 Ceph管理命令中,进一步简化用户使用方式。

在功能扩展性方面,RGW支持  Luascripting,可进行自定义的处理。这很容易让人联想到 Nginx社区和 OpenResty社区,期待 RGW的功能扩展性能催生出对象存储的OpenResty。

2.  RGW劣势

 

RGW扩展性得益于 HTTP 协议的无状态,因此基于 RGW的对象存储的扩展性约束主要来自于 RADOS层。目前 RGW 还没有解决好单个存储类别下的容量扩展性问题,具体来说就是一个存储桶中的对象只能保存在单个RADOS 集群中,单个RADOS集群容量是单个桶支撑容量的上限。大部分用户选择通过业务改造,使用多个存储桶来规避单个RADOS集群的容量上限。

除了容量扩展性之外,社区版本存在元数据扩展性问题,也就是单桶能容纳的对象个数受限于单个RADOS集群的限制。

单桶元数据管理还存在可用性缺陷。在保存元数据的RAODS集群中,存在 OSD异常下线后,恢复业务压力对读写请求造成严重影响,继而造成恢复期间请求错误率飙升、请   求时延剧烈抖动的问题。问题的根本原因在于索引信息以RADOSOMAP接口的形式保存,而对象的 OMAP 不支持异步恢复。大部分用户选择创建无索引类型的存储桶来规避存储桶索引的问题。

CephRGW的多数据中心冗余方案历经多年的发展,虽然已经演进到V2版本,但效果距离商用仍有距离,主要是因为RPO/RTO存在达标缺陷和成本缺陷。对于成本缺陷来说,RGW多数据中心的痛点主要在于采用了两中心全量镜像的方式,在 PB规模下的成本基本是不可接受的。对于RPO/RTO 达标缺陷来说,RGW 多数据中心采用异步复制的方式,无法为多站点业务提供RPO为零的保证。正是这两点缺陷,限制了 RGWPB规模并且SLA要求的对象存储场景上的落地。


3.  小结

 

虽然,我们在使用过程中发现了RGW有诸多待改进之处,但这依然不影响RGW目前特性最丰富的优秀对象存储开源实现。相信上述提及的问题被更多的使用者发现,并且得到社区的重视之后,一定会得到解决。

与此同时,RGW的诸多与时俱进的新兴特性不仅是对 RGW 架构演进能力的例证,同时也彰显了整个 RGW社区的活力和创新性,因此我们有理由相信 RGW 一定会越来越好。

 

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
28天前
|
存储 弹性计算 数据管理
阿里云对象存储OSS收费标准:存储、流量和请求等多个计费项详解
阿里云对象存储OSS提供多样化的计费模式,涵盖存储、流量、请求等多项费用。存储费用方面,按量付费标准型为0.09元/GB/月,包年包月则有9元40GB等多种选择。流量费用仅对公网出方向收费,价格区间从0.25至0.50元/GB不等,支持按量付费与流量包抵扣两种方式。更多详情及精准报价,欢迎访问阿里云OSS官方页面。
1324 1
|
2月前
|
存储 弹性计算 数据管理
阿里云对象存储OSS收费标准,存储、流量和请求等多个计费项
阿里云对象存储OSS提供按量付费与包年包月两种计费方式,涵盖存储、流量、请求等费用。标准存储按量付费0.09元/GB/月,包年包月40GB起售,价格9元/年。公网流量出方向收费,内网及上传免费。具体费用视使用情况而定,详情见官网。
382 0
|
4月前
|
存储 API Swift
Ceph Reef(18.2.X)之Swift操作对象存储网关
这篇文章详细介绍了Ceph Reef(18.2.X)中通过Swift API操作对象存储网关的方法,包括创建用户、子用户、配置环境变量、以及使用swift命令行工具进行存储桶和对象的管理。
46 7
Ceph Reef(18.2.X)之Swift操作对象存储网关
|
4月前
|
存储 对象存储
Ceph Reef(18.2.X)的对象存储网关(rgw)组件搭建
这篇文章是关于Ceph Reef(18.2.X)版本中对象存储系统的配置和使用案例,包括对象存储网关的概述、核心资源介绍、Ceph RGW支持的接口、高可用radosgw的部署、s3cmd工具的使用以及如何通过HTTP方式访问对象存储。
146 3
Ceph Reef(18.2.X)的对象存储网关(rgw)组件搭建
|
4月前
|
存储 监控 数据可视化
SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
【9月更文挑战第2天】SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
194 9
|
4月前
|
对象存储 Python
Ceph Reef(18.2.X)之python操作对象存储网关
这篇文章介绍了如何在Ceph Reef(18.2.X)环境中使用Python操作对象存储网关(rgw),包括环境搭建、账号创建、使用s3cmd工具以及编写和测试Python代码。
56 3
|
5月前
|
存储 JavaScript 前端开发
Vue中实现图片上传,上传后的图片回显,存储图片到服务器 【使用对象存储OSS】
这篇文章介绍了在Vue中实现图片上传到阿里云OSS对象存储服务的完整流程,包括服务端签名直传的前提知识、后端设置、前端组件封装以及图片上传和回显的效果展示。
|
5月前
|
存储 Java 关系型数据库
实时计算 Flink版产品使用问题之以jar包方式同步数据是否需要定义存储oss的位置
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
6月前
|
机器学习/深度学习 人工智能 专有云
人工智能平台PAI使用问题之怎么将DLC的数据写入到另一个阿里云主账号的OSS中
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
2月前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。