Ceph分布式存储底层实现原理(中)

简介: Ceph分布式存储底层实现原理(中)

Ceph


Ceph统一存储架构

image.png

相当于原来买三台不一样的存储
现在买一台存储就可以提供3种不一样的接口
可以划分不同的存储池 
一个存储池用来对象存储
一个存储池用来块存储
一个存储池用来文件存储 把存储池格式化成Ceph文件系统
用来存放文件即CephFS
一个存储池只能做一个事情


CephFS组件


image.png

假设有5台服务器
每台服务器上有12个硬盘
每个硬盘1TB
那么共有60TB的硬盘
数据3副本的话 那么共有200TB的磁盘空间
假设客户端需要存储100M的文件
1、首先客户端会进行分片 
2、通过业务网络上传到ceph
3、ceph通过DHT算法进行hash运算 找到一个节点如node1
4、通过后端网络 对在node1上的数据进行备份 
如图在node2上有一个备份数据

mon(monitor角色)

存放切片的元数据
记录所有的映射表关系 里面保存的是元数据metadata也需要3个副本
当下次读取数据的时候 通过映射表就可以知道这个文件的数据存储在哪个节点上
比如100M的文件 分2片 
一片数据50M记为A 
另外一片数据也是50M记为B
A数据ceph通过hash算法指向了node1记为D1
同时通过后端网络在node2上有一个备份D1‘
B数据ceph通过hash算法指向了node3记为D2
同时通过后端网络在node4上有一个备份D2’
那么这个映射关系在monitor中会记录

image.png


客户端想要获取该数据的时候 就会从monitor中获取映射关系
然后进行整合各个节点上的分片数据

ceph集群至少3个节点

因为数据需要3副本
mon(monitor)的metadata映射关系数据也需要3副本
所以ceph集群至少需要部署3个节点
如果有100个节点 也需要部署3个节点的monitor即可
其他节点都是OSD角色

OSD(object Storage Device) 对象存储设备

image.png


一个硬盘对应一个OSD
一个OSD其实是一个进程 对应一个物理硬盘
OSD相对于Ceph来说 它是一个逻辑硬盘
OSD会存储真正的数据

image.png


3节点能解决脑裂

在集群中通过投票机制来防治脑裂
每个节点投一票

image.png

相关文章
|
10月前
|
NoSQL 算法 安全
分布式锁—1.原理算法和使用建议
本文主要探讨了Redis分布式锁的八大问题,包括非原子操作、忘记释放锁、释放其他线程的锁、加锁失败处理、锁重入问题、锁竞争问题、锁超时失效及主从复制问题,并提供了相应的优化措施。接着分析了Redis的RedLock算法,讨论其优缺点以及分布式专家Martin对其的质疑。此外,文章对比了基于Redis和Zookeeper(zk)的分布式锁实现原理,包括获取与释放锁的具体流程。最后总结了两种分布式锁的适用场景及使用建议,指出Redis分布式锁虽有性能优势但模型不够健壮,而zk分布式锁更稳定但部署成本较高。实际应用中需根据业务需求权衡选择。
|
监控 NoSQL Java
分布式锁实现原理问题之ZooKeeper的观察器(Watcher)特点问题如何解决
分布式锁实现原理问题之ZooKeeper的观察器(Watcher)特点问题如何解决
203 0
|
NoSQL Java Redis
分布式锁实现原理问题之使用Redis的setNx命令来实现分布式锁问题如何解决
分布式锁实现原理问题之使用Redis的setNx命令来实现分布式锁问题如何解决
384 0
|
运维 NoSQL 算法
【📕分布式锁通关指南 04】redis分布式锁的细节问题以及RedLock算法原理
本文深入探讨了基于Redis实现分布式锁时遇到的细节问题及解决方案。首先,针对锁续期问题,提出了通过独立服务、获取锁进程自己续期和异步线程三种方式,并详细介绍了如何利用Lua脚本和守护线程实现自动续期。接着,解决了锁阻塞问题,引入了带超时时间的`tryLock`机制,确保在高并发场景下不会无限等待锁。最后,作为知识扩展,讲解了RedLock算法原理及其在实际业务中的局限性。文章强调,在并发量不高的场景中手写分布式锁可行,但推荐使用更成熟的Redisson框架来实现分布式锁,以保证系统的稳定性和可靠性。
889 0
【📕分布式锁通关指南 04】redis分布式锁的细节问题以及RedLock算法原理
|
存储 Dubbo Java
分布式 RPC 底层原理详解,看这篇就够了!
本文详解分布式RPC的底层原理与系统设计,大厂面试高频,建议收藏。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
分布式 RPC 底层原理详解,看这篇就够了!
|
机器学习/深度学习 存储 运维
分布式机器学习系统:设计原理、优化策略与实践经验
本文详细探讨了分布式机器学习系统的发展现状与挑战,重点分析了数据并行、模型并行等核心训练范式,以及参数服务器、优化器等关键组件的设计与实现。文章还深入讨论了混合精度训练、梯度累积、ZeRO优化器等高级特性,旨在提供一套全面的技术解决方案,以应对超大规模模型训练中的计算、存储及通信挑战。
816 4
|
NoSQL Java API
分布式锁的实现原理与应用场景,5 分钟彻底搞懂!
本文详细解析了分布式锁的实现原理与应用场景,包括线程锁、进程锁和分布式锁的区别,以及分布式锁的四种要求和三种实现方式(数据库乐观锁、ZooKeeper、Redis)。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
分布式锁的实现原理与应用场景,5 分钟彻底搞懂!
|
存储 块存储
ceph分布式存储系统常见术语篇
关于Ceph分布式存储系统的常见术语解释和概述。
1462 1
ceph分布式存储系统常见术语篇
|
分布式计算 Hadoop 网络安全
Hadoop-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
Hadoop-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
237 1
|
存储 机器学习/深度学习 缓存
Hadoop-07-HDFS集群 基础知识 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
Hadoop-07-HDFS集群 基础知识 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
368 1