带你读《存储漫谈:Ceph原理与实践》——3.2.6 未来展望

本文涉及的产品
对象存储 OSS,标准 - 本地冗余存储 20GB 3个月
对象存储 OSS,内容安全 1000 次 1年
对象存储OSS,敏感数据保护2.0 200GB 1年
简介: 带你读《存储漫谈:Ceph原理与实践》——3.2.6 未来展望

3.2.6  未来展望


1. RGW 优势

Ceph 的 RGW 在不断引入新功能的情况下,经历几次大规模的重构,整个架构设计分层清晰、责任明确,保证了整个 RGW 的可演进。RGW 当前的架构也充分考虑了非功能性的需求。

RGW 通过引入 beast HTTP 服务器前端以及使用 librados 异步 API,逐渐向读写路径异步化的方向演进。

在可观测性方面,RGW 也是在多个层面提供了支持。对于集中状态收集方面,得益于和 Ceph MGR 组件的集成,RGW 支持上报状态信息到 MGR 中,为之后进一步导出观测指标到 MGR 提供了支撑。

在运行时状态统计方面,RGW 提供了 admin socket 支持,支持单个 RGW 实例导出运行时的各类统计结果。

对于在线的请求跟踪分析方面,RGW 也集成了基于 Jaeger 的分布式请求跟踪。

在可管理性方面,RGW 支持命令行管理工具 radosgw-admin 和 HTTP 协议的管理API。Ceph 社区也在呼吁 radosgw-admin 集成到 Ceph 管理命令中,进一步简化用户使用方式。

在功能扩展性方面,RGW 支持 Lua scripting,可进行自定义的处理。这很容易让人联想到 Nginx 社区和 OpenResty 社区,期待 RGW 的功能扩展性能催生出对象存储的OpenResty。


2. RGW 劣势

RGW 扩展性得益于 HTTP 协议的无状态,因此基于 RGW 的对象存储的扩展性约束主要来自于 RADOS 层。目前 RGW 还没有解决好单个存储类别下的容量扩展性问题,具体来说就是一个存储桶中的对象只能保存在单个 RADOS 集群中,单个 RADOS 集群容量是单个桶支撑容量的上限。大部分用户选择通过业务改造,使用多个存储桶来规避单个RADOS 集群的容量上限。

除了容量扩展性之外,社区版本存在元数据扩展性问题,也就是单桶能容纳的对象个数受限于单个 RADOS 集群的限制。

单桶元数据管理还存在可用性缺陷。在保存元数据的 RAODS 集群中,存在 OSD 异常下线后,恢复业务压力对读写请求造成严重影响,继而造成恢复期间请求错误率飙升、请求时延剧烈抖动的问题。问题的根本原因在于索引信息以 RADOS OMAP 接口的形式保存,而对象的 OMAP 不支持异步恢复。大部分用户选择创建无索引类型的存储桶来规避存储桶索引的问题。

Ceph RGW 的多数据中心冗余方案历经多年的发展,虽然已经演进到 V2 版本,但效果距离商用仍有距离,主要是因为 RPO/RTO 存在达标缺陷和成本缺陷。对于成本缺陷来说,RGW 多数据中心的痛点主要在于采用了两中心全量镜像的方式,在 PB 规模下的成本基本是不可接受的。对于 RPO/RTO 达标缺陷来说,RGW 多数据中心采用异步复制的方式,无法为多站点业务提供 RPO 为零的保证。正是这两点缺陷,限制了 RGW 在 PB 规模并且高 SLA 要求的对象存储场景上的落地。


3. 小结

虽然,我们在使用过程中发现了 RGW 有诸多待改进之处,但这依然不影响 RGW 是目前特性最丰富的优秀对象存储开源实现。相信上述提及的问题被更多的使用者发现,并且得到社区的重视之后,一定会得到解决。

与此同时,RGW 的诸多与时俱进的新兴特性不仅是对 RGW 架构演进能力的例证,同时也彰显了整个 RGW 社区的活力和创新性,因此我们有理由相信 RGW 一定会越来越好。

相关实践学习
通义万相文本绘图与人像美化
本解决方案展示了如何利用自研的通义万相AIGC技术在Web服务中实现先进的图像生成。
相关文章
|
2月前
|
存储 人工智能 Cloud Native
阿里云渠道商:OSS与传统存储系统的差异在哪里?
本文对比传统存储与云原生对象存储OSS的架构差异,涵盖性能、成本、扩展性等方面。OSS凭借高持久性、弹性扩容及与云服务深度集成,成为大数据与AI时代的优选方案。
|
4月前
|
存储 运维 安全
阿里云国际站OSS与自建存储的区别
阿里云国际站对象存储OSS提供海量、安全、低成本的云存储解决方案。相比自建存储,OSS具备易用性强、稳定性高、安全性好、成本更低等优势,支持无限扩展、自动冗余、多层防护及丰富增值服务,助力企业高效管理数据。
|
7月前
|
存储 人工智能 Kubernetes
AI 场景深度优化!K8s 集群 OSSFS 2.0 存储卷全面升级,高效访问 OSS 数据
阿里云对象存储OSS是一款海量、安全、低成本、高可靠的云存储服务,是用户在云上存储的高性价比选择…
|
8月前
|
存储 Kubernetes 对象存储
StrmVol存储卷:如何解锁K8s对象存储海量小文件访问性能新高度?
如何提升海量文件的数据读取速率,对于AI训练集管理、量化回测、时序日志分析等场景尤为重要。阿里云容器服务(ACK))支持StrmVol类型存储卷,基于底层虚拟块设备及内核态文件系统,显著降低海量小文件访问延迟。
|
8月前
|
存储 Kubernetes 对象存储
StrmVol 存储卷:解锁 K8s 对象存储海量小文件访问性能新高度
本文介绍了阿里云容器服务(ACK)支持的StrmVol存储卷方案,旨在解决Kubernetes环境中海量小文件访问性能瓶颈问题。通过虚拟块设备与内核态文件系统(如EROFS)结合,StrmVol显著降低了小文件访问延迟,适用于AI训练集加载、时序日志分析等场景。其核心优化包括内存预取加速、减少I/O等待、内核态直接读取避免用户态切换开销,以及轻量索引快速初始化。示例中展示了基于Argo Workflows的工作流任务,模拟分布式图像数据集加载,测试结果显示平均处理时间为21秒。StrmVol适合只读场景且OSS端数据无需频繁更新的情况,详细使用方法可参考官方文档。
802 144
|
8月前
|
存储 弹性计算 数据管理
阿里云对象存储oss怎么收费?存储费用+流量收费标准
阿里云对象存储OSS收费标准包含存储费、流量费及请求费等,支持按量付费与包年包月两种模式。标准型本地冗余存储按量付费价格为0.09元/GB/月,包年包月500GB预留空间优惠价118元/年。流量费仅收取公网出方向费用,忙时0.50元/GB,闲时0.25元/GB。更多详情可参考官方页面。
1603 91
|
7月前
|
存储 人工智能 测试技术
AI 场景深度优化!K8s 集群 OSSFS 2.0 存储卷全面升级,高效访问 OSS 数据
OSSFS 2.0通过轻量化协议设计、协程化技术及FUSE3低级API重构,实现大文件顺序读写与小文件高并发加载的显著提升,在实际测试中表现出高达数十倍的吞吐量增长。适用于机器学习训练、推理等对高带宽低延迟要求严苛的场景,同时支持静态和动态挂载方式,方便用户在ACK集群中部署使用。
721 34
|
6月前
|
存储 关系型数据库 MySQL
成本直降30%!RDS MySQL存储自动分层实战:OSS冷热分离架构设计指南
在日均订单量超500万的场景下,MySQL数据年增200%,但访问集中在近7天(85%)。通过冷热数据分离,将历史数据迁移至OSS,实现存储成本下降48%,年省72万元。结合RDS、OSS与Redis构建分层架构,自动化管理数据生命周期,优化查询性能与资源利用率,支撑PB级数据扩展。
355 3
|
11月前
|
存储 前端开发 Java
Harry技术添加存储(minio、aliyun oss)、短信sms(aliyun、模拟)、邮件发送等功能
### SpringBoot3 + Vue3 前后端分离的Java快速开发框架更新 本次更新主要包含以下内容: 1. **端口修改**:为避免与Minio存储服务冲突,后端启动端口从9000改为9999。 2. **添加存储支持**:集成Minio和阿里云OSS对象存储服务,详细配置请参考相关文档。 3. **短信服务**:接入阿里云短信服务,并增加模拟发送功能,方便本地测试。 4. **邮件发送**:引入邮件发送功能,支持简单文本邮件和带附件邮件。 5. **完善个人中心**:优化个人中心页面,提升用户体验。
377 85
Harry技术添加存储(minio、aliyun oss)、短信sms(aliyun、模拟)、邮件发送等功能

热门文章

最新文章