提升存储设备的吞吐量

简介: 提升存储设备的吞吐量

Ceph存储的条带化


image.png

存储设备都有吞吐量限制 它会影响性能和伸缩性

如何提高吞吐量和性能?

image.png

image.png

image.png

ceph客户端将数据条带化
然后并行化写入ceph存储集群中的对象

存储对象容量变化的过程

image.png

image.png

客户端数据条带化到一个对象集(图中的 对象集 1 )
它包含 4 个对象
第一个条带单元是 object 0 的 stripe unit 0 
第四个条带是 object 3 的 stripe unit 3 
写完第四个条带,客户端要确认对象集是否满了
如果对象集没满,客户端再从第一个对象起写入条带(图中的 object 0 )
如果对象集满了
客户端就得创建新对象集(图的 object set 2 )
然后从新对象集中的第一个对象(图中的 object 4 )起开始写入第一个条带( stripe unit 16 )

ceph如何条带化数据?

  • 对象尺寸

image.png

  • 条带宽度
条带宽度是对象尺寸的分片

image.png

image.png

Ceph 客户端把一系列条带单元写入由条带数量所确定的一系列对象
这一系列的对象称为一个对象集
客户端写到对象集内的最后一个对象时
再返回到第一个


总结


image.png

当客户端把条带单元并行地写入相应对象时
就会有明显的写性能
因为对象映射到了不同的归置组、并进一步映射到不同 OSD 
可以并行地以最大速度写入
到单一磁盘的写入受限于磁头移动(如:6ms 寻道时间)和存储设备带宽(如:100MB/s)
Ceph把写入分布到多个对象(它们映射到了不同归置组和 OSD )
这样可减少每设备寻道次数、联合多个驱动器的吞吐量,以达到更高的写(或读)速度
相关文章
|
存储 分布式计算 Apache
7月24日晚Spark社区直播:【Apache Spark 基于 Apache Arrow 的列式存储优化】
Apache Arrow 是一个基于内存的列式存储标准,旨在解决数据交换和传输过程中,序列化和反序列化带来的开销。目前,Apache Spark 社区的一些重要优化都在围绕 Apache Arrow 展开,本次分享会介绍 Apache Arrow 并分析通过 Arrow 将给 Spark 带来哪些特性。
|
Python
Python进阶06 循环对象
作者:Vamei 出处:http://www.cnblogs.com/vamei 欢迎转载,也请保留这段声明。谢谢!   这一讲的主要目的是为了大家在读Python程序的时候对循环对象有一个基本概念。
872 0
|
3天前
|
弹性计算 人工智能 安全
云上十五年——「弹性计算十五周年」系列客户故事(第二期)
阿里云弹性计算十五年深耕,以第九代ECS g9i实例引领算力革新。携手海尔三翼鸟、小鹏汽车、微帧科技等企业,实现性能跃升与成本优化,赋能AI、物联网、智能驾驶等前沿场景,共绘云端增长新图景。
|
9天前
|
存储 弹性计算 人工智能
【2025云栖精华内容】 打造持续领先,全球覆盖的澎湃算力底座——通用计算产品发布与行业实践专场回顾
2025年9月24日,阿里云弹性计算团队多位产品、技术专家及服务器团队技术专家共同在【2025云栖大会】现场带来了《通用计算产品发布与行业实践》的专场论坛,本论坛聚焦弹性计算多款通用算力产品发布。同时,ECS云服务器安全能力、资源售卖模式、计算AI助手等用户体验关键环节也宣布升级,让用云更简单、更智能。海尔三翼鸟云服务负责人刘建锋先生作为特邀嘉宾,莅临现场分享了关于阿里云ECS g9i推动AIoT平台的场景落地实践。
【2025云栖精华内容】 打造持续领先,全球覆盖的澎湃算力底座——通用计算产品发布与行业实践专场回顾
|
8天前
|
人工智能 自然语言处理 自动驾驶
关于举办首届全国大学生“启真问智”人工智能模型&智能体大赛决赛的通知
关于举办首届全国大学生“启真问智”人工智能模型&智能体大赛决赛的通知
|
8天前
|
云安全 人工智能 自然语言处理
阿里云x硅基流动:AI安全护栏助力构建可信模型生态
阿里云AI安全护栏:大模型的“智能过滤系统”。
|
9天前
|
编解码 自然语言处理 文字识别
Qwen3-VL再添丁!4B/8B Dense模型开源,更轻量,仍强大
凌晨,Qwen3-VL系列再添新成员——Dense架构的Qwen3-VL-8B、Qwen3-VL-4B 模型,本地部署友好,并完整保留了Qwen3-VL的全部表现,评测指标表现优秀。
662 7
Qwen3-VL再添丁!4B/8B Dense模型开源,更轻量,仍强大