带你读《存储漫谈:Ceph原理与实践》——3.2.3 I/O 路径

简介: 带你读《存储漫谈:Ceph原理与实践》——3.2.3 I/O 路径

3.2.3  I/O 路径


RGW 是 RADOS Gateway,顾名思义是 RADOS 对象存储系统上层的一个网关服务,根据网关的功能定义,网关负责完成不同协议的转换和对接。在 Ceph 场景中,RGW即完成类似的功能:接收用户 S3/Swift 接口规则的数据存取请求,然后将其转化为后端RADOS 能够处理的操作。

RGW 的请求处理经历了 3 个阶段:

(1)Web 框架主要负责接收用户请求,RGW 中常用的 Web 框架包括 CivetWeb、Apache、Beast 等;

(2) 根 据 用 户 请 求 类 型, 分 别 选 择 不 同 的 RESTMgr( 针 对 不 同 的 Resource)、Handler、RGWOp 来处理用户的具体业务,梳理出用户的请求数据;

(3)将用户的业务请求转换为对 RADOS 层数据读写请求的封装,具体操作由RGWRados 完成。

RGW 的业务架构示意如图 3-29 所示。请求到达 RGW 网关后,在 RGW Frontend 层做相应转发,请求到达 RGWRESTMgr 层,RGWRESTMgr 依照请求资源类型,对请求做相应的 RGWHandler 层的资源实例化工作。

在 RGWHandler 层中实例化后的请求,首先进行前置处理,完成基本信息的校验等工作,在校验完成后,调用相关的业务接口 RGWOp 完成 Bucket 和 Object 的请求处理,并在 RGWOp 中,调用终极接口 RGWRados,完成 RGW 数据的最终落盘(RGWRados是 RGW 网关模块和后端的 RADOS 底层存储系统交互的窗口)。RGW 请求处理流程见图 3-30。

image.png

图 3-29 RGW 业务架构示意

image.png

图 3-30 RGW 请求处理流程

对 应 上 述 业 务 处 理 过 程,RGW 中 会 有 3 个 重 要 的 数 据 结 构:RGWFrontend、RGWRESTMgr 及 RGWHandler。

◆ RGWFrontend :RGWFrontend 是 RGW 的 WEB 前端类的封装,用于处理 HTTP(s)相关的请求,完成 RGW 业务逻辑中的 WEB 框架接收用户请求的功能。目前最新的 WEB框架是 Beast。

◆ RGWRESTMgr :RGWRESTMgr 负责 RGW 处理的资源类型区分,RGWRESTMgr包含了多种不同类型的路径和资源,并可根据请求资源类型的不同,将请求“路由”到不同的业务逻辑来进行处理(请求的实例化工作)。

◆ RGWHandler :RGWHandler 负责具体的用户请求处理,如客户使用 S3 规范进行业务请求,该层中会调用 S3 相关的 RGWHandler,后续操作如下。

(1)RGWHandler_REST_Service_S3

负责处理 S3 用户类型请求,包括获取用户的统计信息、用户的桶列表、S3 账户访问权限设置等。

(2)RGWHandler_REST_Bucket_S3

负责处理 S3 桶类型请求,包括桶的 ACL 权限列表、生命周期规则以及具体的创建 / 删除桶等操作。

(3)RGWHandler_REST_Obj_S3

负责处理 S3 Object 类型请求,包括 Object 的 ACL 权限列表、Tagging 及具体的Object 数据操作(简单上传、分块上传、删除)等。

相关文章
|
20天前
|
存储 安全 开发工具
oss加密存储
阿里云OSS为数据安全提供多种加密机制,包括服务器端的SSE-S3(AES-256透明加密)、SSE-C(用户管理密钥)和CSE-KMS(结合KMS进行密钥管理)。此外,OSS支持客户端加密SDK和HTTPS传输加密,确保数据在传输和存储时的安全。通过ACL、Bucket策略和访问密钥身份验证,实现权限控制与身份验证,全方位保障用户数据的安全性和隐私。用户可按需选择适合的加密方式。
53 2
|
7月前
|
存储 监控 文件存储
存储之外,还有什么?云计算对象存储服务OSS深度洞察
存储之外,还有什么?云计算对象存储服务OSS深度洞察
318 0
|
8月前
|
存储 分布式计算 大数据
大数据计算中,使用OSS作为外部存储
大数据计算中,使用OSS作为外部存储
56 1
|
8月前
|
存储 安全 API
阿里云oss存储简介和如何使用
阿里云OSS存储服务是一种安全、稳定、高效的云存储服务,适用于各种规模的应用和业务场景。它具备出色的持久性和可用性,可以为用户提供高可靠、低成本的存储解决方案。阿里云OSS存储具有广泛的应用场景
2110 0
|
10月前
|
存储 SQL 分布式计算
阿里云全托管flink-vvp平台hudi connector实践(基于emr集群oss-hdfs存储)
阿里云全托管flink-vvp平台hudi sink connector实践,本文数据湖hudi基于阿里云E-MapReduce产品,以云对象存储oss-hdfs作为存储
|
11月前
|
存储 数据管理 数据处理
阿里云对象存储OSS价格_云存储服务_企业数据管理_存储
阿里云对象存储OSS价格_云存储服务_企业数据管理_存储,阿里云对象存储OSS收费有两种计费模式,即包年包月和按量付费,包年包月是指购买存储包、流量包来抵扣OSS产生的存储费核流量费,OSS标准(LRS)存储包100GB优惠价33元、500GB存储包半年162元、OSS存储包40GB一年9元,OSS流量包100G 49元/月
516 0
|
20天前
|
存储 Java 对象存储
springboot配置阿里云OSS存储实现文件上传下载功能
【1月更文挑战第1天】springboot配置阿里云OSS存储实现文件上传下载功能
824 2
|
20天前
|
存储 SQL 关系型数据库
存储系统、数据库和对象存储 | 青训营
存储系统、数据库和对象存储 | 青训营
|
20天前
|
存储 安全 API
对象存储OSS产品常见问题之附件上传后存储存在被窃取的风险如何解决
对象存储OSS是基于互联网的数据存储服务模式,让用户可以安全、可靠地存储大量非结构化数据,如图片、音频、视频、文档等任意类型文件,并通过简单的基于HTTP/HTTPS协议的RESTful API接口进行访问和管理。本帖梳理了用户在实际使用中可能遇到的各种常见问题,涵盖了基础操作、性能优化、安全设置、费用管理、数据备份与恢复、跨区域同步、API接口调用等多个方面。
|
20天前
|
存储 安全 数据安全/隐私保护
oss数据加密与存储
阿里云OSS提供多种数据加密(SSE-S3, SSE-KMS, SSE-C, CSE-KMS)与存储安全措施,包括服务器和客户端加密、数据在磁盘上加密存储、多重冗余备份、访问控制列表和HTTPS安全传输。KMS支持密钥管理,确保数据静态和传输时的安全。严格的访问策略和身份验证保护资源免受未授权访问,满足高安全性和合规性需求。
61 3