Ceph分布式存储底层实现原理(中)

简介: Ceph分布式存储底层实现原理(中)

Ceph


Ceph统一存储架构

image.png

相当于原来买三台不一样的存储
现在买一台存储就可以提供3种不一样的接口
可以划分不同的存储池 
一个存储池用来对象存储
一个存储池用来块存储
一个存储池用来文件存储 把存储池格式化成Ceph文件系统
用来存放文件即CephFS
一个存储池只能做一个事情


CephFS组件


image.png

假设有5台服务器
每台服务器上有12个硬盘
每个硬盘1TB
那么共有60TB的硬盘
数据3副本的话 那么共有200TB的磁盘空间
假设客户端需要存储100M的文件
1、首先客户端会进行分片 
2、通过业务网络上传到ceph
3、ceph通过DHT算法进行hash运算 找到一个节点如node1
4、通过后端网络 对在node1上的数据进行备份 
如图在node2上有一个备份数据

mon(monitor角色)

存放切片的元数据
记录所有的映射表关系 里面保存的是元数据metadata也需要3个副本
当下次读取数据的时候 通过映射表就可以知道这个文件的数据存储在哪个节点上
比如100M的文件 分2片 
一片数据50M记为A 
另外一片数据也是50M记为B
A数据ceph通过hash算法指向了node1记为D1
同时通过后端网络在node2上有一个备份D1‘
B数据ceph通过hash算法指向了node3记为D2
同时通过后端网络在node4上有一个备份D2’
那么这个映射关系在monitor中会记录

image.png


客户端想要获取该数据的时候 就会从monitor中获取映射关系
然后进行整合各个节点上的分片数据

ceph集群至少3个节点

因为数据需要3副本
mon(monitor)的metadata映射关系数据也需要3副本
所以ceph集群至少需要部署3个节点
如果有100个节点 也需要部署3个节点的monitor即可
其他节点都是OSD角色

OSD(object Storage Device) 对象存储设备

image.png


一个硬盘对应一个OSD
一个OSD其实是一个进程 对应一个物理硬盘
OSD相对于Ceph来说 它是一个逻辑硬盘
OSD会存储真正的数据

image.png


3节点能解决脑裂

在集群中通过投票机制来防治脑裂
每个节点投一票

image.png

相关文章
|
13天前
|
存储 Dubbo Java
分布式 RPC 底层原理详解,看这篇就够了!
本文详解分布式RPC的底层原理与系统设计,大厂面试高频,建议收藏。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
分布式 RPC 底层原理详解,看这篇就够了!
|
21天前
|
NoSQL Java API
分布式锁的实现原理与应用场景,5 分钟彻底搞懂!
本文详细解析了分布式锁的实现原理与应用场景,包括线程锁、进程锁和分布式锁的区别,以及分布式锁的四种要求和三种实现方式(数据库乐观锁、ZooKeeper、Redis)。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
分布式锁的实现原理与应用场景,5 分钟彻底搞懂!
|
4月前
|
监控 NoSQL Java
分布式锁实现原理问题之ZooKeeper的观察器(Watcher)特点问题如何解决
分布式锁实现原理问题之ZooKeeper的观察器(Watcher)特点问题如何解决
|
4月前
|
NoSQL Java Redis
分布式锁实现原理问题之使用Redis的setNx命令来实现分布式锁问题如何解决
分布式锁实现原理问题之使用Redis的setNx命令来实现分布式锁问题如何解决
|
1月前
|
分布式计算 Hadoop 网络安全
Hadoop-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
Hadoop-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
37 1
|
1月前
|
存储 机器学习/深度学习 缓存
Hadoop-07-HDFS集群 基础知识 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
Hadoop-07-HDFS集群 基础知识 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
47 1
|
2月前
|
存储 块存储
ceph分布式存储系统常见术语篇
关于Ceph分布式存储系统的常见术语解释和概述。
120 1
ceph分布式存储系统常见术语篇
|
1月前
|
存储 缓存 数据处理
深度解析:Hologres分布式存储引擎设计原理及其优化策略
【10月更文挑战第9天】在大数据时代,数据的规模和复杂性不断增加,这对数据库系统提出了更高的要求。传统的单机数据库难以应对海量数据处理的需求,而分布式数据库通过水平扩展提供了更好的解决方案。阿里云推出的Hologres是一个实时交互式分析服务,它结合了OLAP(在线分析处理)与OLTP(在线事务处理)的优势,能够在大规模数据集上提供低延迟的数据查询能力。本文将深入探讨Hologres分布式存储引擎的设计原理,并介绍一些关键的优化策略。
106 0
|
6月前
|
存储 分布式计算 监控
Hadoop【基础知识 01+02】【分布式文件系统HDFS设计原理+特点+存储原理】(部分图片来源于网络)【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】(图片来源于网络)
【4月更文挑战第3天】【分布式文件系统HDFS设计原理+特点+存储原理】(部分图片来源于网络)【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】(图片来源于网络)
312 2
|
2月前
|
存储 Kubernetes 数据安全/隐私保护
k8s对接ceph集群的分布式文件系统CephFS
文章介绍了如何在Kubernetes集群中使用CephFS作为持久化存储,包括通过secretFile和secretRef两种方式进行认证和配置。
99 5

热门文章

最新文章

下一篇
无影云桌面