开发者社区> 平凡人笔记> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Ceph分布式存储底层实现原理(上)

简介: Ceph分布式存储底层实现原理(上)
+关注继续查看

Server SAN (分布式存储) 概念


由多个独立的服务器自带的存储组成一个存储资源池 同时融合的存储和计算资源


image.png


SDS(软件定义存储)


将硬盘资源整合起来 并通过软件编程来定义这些资源

微信图片_20220501130039.png


软件定义的存储

  • 可编程、策略驱动
  • 存储虚拟化,资源池化
  • 异构存储资源管理
  • API呈现系统能力

存储资源层

  • 传统软硬件一体的存储资源
  • 基于软件的/标准硬件的存储


SDS与传统存储对比


传统的存储系统设计


自低向上

image.png


首先把很多磁盘组Disk Group配RAID
在RAID上配存储池
再存储池上配LUN
把LUN映射为上层业务主机来用
即先创建500G的LUN 映射给主机使用

SDS存储系统设计


自顶向下

image.png

首先会做一个大的存储池 比如500T
在虚拟化层面或云平台对接这个存储池
创建一个虚拟机 比如占用500G空间磁盘
默认会在存储池中创建一个vDisks
而不需要在之前先创建一个vDisks给应用来用
而是把整个存储池给应用来用
通过云平台创建一个500G的硬盘 
会自动在存储池中创建一个500G的虚拟硬盘
存储池底下有很多硬盘组合在一起
所有服务器通常不配置RAID
不配置RAID那如何硬盘故障了怎么办?
所有的分布式存储有2种解决方案
1、副本机制(比如3复制 一份数据在3台服务器的硬盘中)
2、EC算法
2种机制保证数据的可靠性

数据副本

image.png


数据以及副本是不在一台服务器中的
也有可能不在同一个机柜里面
也有可能不在同一个机房里面


新业务催生新资源供给模式


传统烟囱式

image.png


SAN:提供一个裸设备 从存储上划一个空间映射到主机上
主机上看到的是一个硬盘 
需要在主机上对这个硬盘进行分区格式化
NSA:相当于在Windows中把一个文件夹共享出去
在另外一个Windows上可以访问到这个共享
以文件的形式共享
烟囱式:每一个存储提供给自己的业务
比如SAN存储提供给数据库使用
没有办法做到弹性扩展


劣势

  • 资源利用不均衡
烟囱式存储比如一个LUN 500G硬盘 这个LUN特别忙 这个LUN所在的硬盘就会出现瓶颈
另一个LUN 500G硬盘 这个LUN很空闲
而分布式存储所有的数据存储都均衡的存储在后端的各个硬盘中
是所有服务器 所有硬盘一起参与 所以不可能出现烟囱式的这种瓶颈
  • 扩展性差
  • 多系统平台管理

新架构-云

image.png



版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
444
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载