Ceph分布式存储底层实现原理(上)

简介: Ceph分布式存储底层实现原理(上)

Server SAN (分布式存储) 概念


由多个独立的服务器自带的存储组成一个存储资源池 同时融合的存储和计算资源


image.png


SDS(软件定义存储)


将硬盘资源整合起来 并通过软件编程来定义这些资源

微信图片_20220501130039.png


软件定义的存储

  • 可编程、策略驱动
  • 存储虚拟化,资源池化
  • 异构存储资源管理
  • API呈现系统能力

存储资源层

  • 传统软硬件一体的存储资源
  • 基于软件的/标准硬件的存储


SDS与传统存储对比


传统的存储系统设计


自低向上

image.png


首先把很多磁盘组Disk Group配RAID
在RAID上配存储池
再存储池上配LUN
把LUN映射为上层业务主机来用
即先创建500G的LUN 映射给主机使用

SDS存储系统设计


自顶向下

image.png

首先会做一个大的存储池 比如500T
在虚拟化层面或云平台对接这个存储池
创建一个虚拟机 比如占用500G空间磁盘
默认会在存储池中创建一个vDisks
而不需要在之前先创建一个vDisks给应用来用
而是把整个存储池给应用来用
通过云平台创建一个500G的硬盘 
会自动在存储池中创建一个500G的虚拟硬盘
存储池底下有很多硬盘组合在一起
所有服务器通常不配置RAID
不配置RAID那如何硬盘故障了怎么办?
所有的分布式存储有2种解决方案
1、副本机制(比如3复制 一份数据在3台服务器的硬盘中)
2、EC算法
2种机制保证数据的可靠性

数据副本

image.png


数据以及副本是不在一台服务器中的
也有可能不在同一个机柜里面
也有可能不在同一个机房里面


新业务催生新资源供给模式


传统烟囱式

image.png


SAN:提供一个裸设备 从存储上划一个空间映射到主机上
主机上看到的是一个硬盘 
需要在主机上对这个硬盘进行分区格式化
NSA:相当于在Windows中把一个文件夹共享出去
在另外一个Windows上可以访问到这个共享
以文件的形式共享
烟囱式:每一个存储提供给自己的业务
比如SAN存储提供给数据库使用
没有办法做到弹性扩展


劣势

  • 资源利用不均衡
烟囱式存储比如一个LUN 500G硬盘 这个LUN特别忙 这个LUN所在的硬盘就会出现瓶颈
另一个LUN 500G硬盘 这个LUN很空闲
而分布式存储所有的数据存储都均衡的存储在后端的各个硬盘中
是所有服务器 所有硬盘一起参与 所以不可能出现烟囱式的这种瓶颈
  • 扩展性差
  • 多系统平台管理

新架构-云

image.png



相关文章
|
4月前
|
设计模式 安全 Java
【分布式技术专题】「Tomcat技术专题」 探索Tomcat技术架构设计模式的奥秘(Server和Service组件原理分析)
【分布式技术专题】「Tomcat技术专题」 探索Tomcat技术架构设计模式的奥秘(Server和Service组件原理分析)
86 0
|
4月前
|
存储 分布式计算 Hadoop
Hadoop【基础知识 01】【分布式文件系统HDFS设计原理+特点+存储原理】(部分图片来源于网络)
【4月更文挑战第3天】Hadoop【基础知识 01】【分布式文件系统HDFS设计原理+特点+存储原理】(部分图片来源于网络)
194 3
|
2月前
|
监控 NoSQL Java
分布式锁实现原理问题之ZooKeeper的观察器(Watcher)特点问题如何解决
分布式锁实现原理问题之ZooKeeper的观察器(Watcher)特点问题如何解决
|
2月前
|
NoSQL Java Redis
分布式锁实现原理问题之使用Redis的setNx命令来实现分布式锁问题如何解决
分布式锁实现原理问题之使用Redis的setNx命令来实现分布式锁问题如何解决
|
17天前
|
存储 块存储
ceph分布式存储系统常见术语篇
关于Ceph分布式存储系统的常见术语解释和概述。
35 1
ceph分布式存储系统常见术语篇
|
17天前
|
存储 Kubernetes 数据安全/隐私保护
k8s对接ceph集群的分布式文件系统CephFS
文章介绍了如何在Kubernetes集群中使用CephFS作为持久化存储,包括通过secretFile和secretRef两种方式进行认证和配置。
25 5
|
4月前
|
存储 分布式计算 监控
Hadoop【基础知识 01+02】【分布式文件系统HDFS设计原理+特点+存储原理】(部分图片来源于网络)【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】(图片来源于网络)
【4月更文挑战第3天】【分布式文件系统HDFS设计原理+特点+存储原理】(部分图片来源于网络)【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】(图片来源于网络)
261 2
|
2月前
|
NoSQL Redis 数据库
|
1月前
|
存储 算法 NoSQL
(三)漫谈分布式之集群篇:探寻N个9高可用与PB级数据存储的实现原理!
本文来详细聊聊集群的各方面知识,为诸位量身打造出结构化的集群知识体系。
|
4月前
|
缓存 算法 关系型数据库
深度思考:雪花算法snowflake分布式id生成原理详解
雪花算法snowflake是一种优秀的分布式ID生成方案,其优点突出:它能生成全局唯一且递增的ID,确保了数据的一致性和准确性;同时,该算法灵活性强,可自定义各部分bit位,满足不同业务场景的需求;此外,雪花算法生成ID的速度快,效率高,能有效应对高并发场景,是分布式系统中不可或缺的组件。
1218 2
深度思考:雪花算法snowflake分布式id生成原理详解