Ceph分布式存储学习指南3.5 Ceph文件系统

简介:

3.5 Ceph文件系统


CephFS在RADOS层之上提供了一个兼容POSIX的文件系统。它使用MDS作为守护进程,负责管理其元数据并将它和其他数据分开,这有助于降低复杂性并提高可靠性。CephFS继承了RADOS的特性并为数据提供了动态再平衡。

 

libcephfs库在支持多客户端实现方面扮演着重要角色。它拥有本地Linux内核驱动程序支持,因此客户可以使用mount命令来实现本机文件系统挂载。它和SAMBA紧密集成,支持CIFS和SMB。CephFS使用cephfuse模块(FUSE)扩展其在用户空间文件系统方面的支持。它还允许直接与应用程序交互,使用libcephfs库直接访问RADOS集群。

作为Hadoop HDFS替代品,CephFS越来越受欢迎。HDFS只有一个名称节点,这影响了它的扩展性,同时会造成单点故障。与HDFS不同的是,CephFS可以实现多个MDS的active-active状态,从而使它具备高可扩展性、高性能且没有单点故障。后面的章节将重点讨论CephFS的实现。

总结

从底层设计开始,Ceph就被设计为一个强有力的统一存储解决方案:在单个集群内提供Ceph块设备、Ceph对象存储和Ceph文件系统。在集群中,Ceph充分利用了诸如monitor、OSD、MDS等组件,它们具备容错性、高度可伸缩性和高性能。Ceph使用一种独特的方式来将数据存储到物理磁盘上。任何类型的数据(无论是来自Ceph块设备、对象存储还是文件系统)都会被分割为小对象的形式,然后存储到一个动态计算的数据存储位置上。monitor维护map信息并负责集群节点和客户端信息的更新。这种机制使得Ceph脱颖而出,提供高度可伸缩的、高可靠的和高性能的存储解决方案。

相关文章
|
2月前
|
SQL 关系型数据库 数据库
学习分布式事务Seata看这一篇就够了,建议收藏
学习分布式事务Seata看这一篇就够了,建议收藏
|
1月前
|
机器学习/深度学习 分布式计算 算法
联邦学习是保障数据隐私的分布式机器学习方法
【6月更文挑战第13天】联邦学习是保障数据隐私的分布式机器学习方法,它在不暴露数据的情况下,通过在各设备上本地训练并由中心服务器协调,实现全局模型构建。联邦学习的优势在于保护隐私、提高训练效率和增强模型泛化。已应用于医疗、金融和物联网等领域。未来趋势包括更高效的数据隐私保护、提升可解释性和可靠性,以及与其他技术融合,有望在更多场景发挥潜力,推动机器学习发展。
35 4
|
29天前
|
消息中间件 NoSQL Java
Redis系列学习文章分享---第六篇(Redis实战篇--Redis分布式锁+实现思路+误删问题+原子性+lua脚本+Redisson功能介绍+可重入锁+WatchDog机制+multiLock)
Redis系列学习文章分享---第六篇(Redis实战篇--Redis分布式锁+实现思路+误删问题+原子性+lua脚本+Redisson功能介绍+可重入锁+WatchDog机制+multiLock)
80 0
|
2月前
|
并行计算 算法 物联网
LLM 大模型学习必知必会系列(七):掌握分布式训练与LoRA/LISA微调:打造高性能大模型的秘诀进阶实战指南
LLM 大模型学习必知必会系列(七):掌握分布式训练与LoRA/LISA微调:打造高性能大模型的秘诀进阶实战指南
LLM 大模型学习必知必会系列(七):掌握分布式训练与LoRA/LISA微调:打造高性能大模型的秘诀进阶实战指南
|
1月前
|
负载均衡 NoSQL 关系型数据库
Redis分布式锁学习总结
Redis分布式锁学习总结
21 0
|
2月前
|
Dubbo Java 应用服务中间件
Java从入门到精通:3.2.2分布式与并发编程——了解分布式系统的基本概念,学习使用Dubbo、Spring Cloud等分布式框架
Java从入门到精通:3.2.2分布式与并发编程——了解分布式系统的基本概念,学习使用Dubbo、Spring Cloud等分布式框架
306 0
|
2月前
|
存储 分布式计算 Hadoop
带你了解文件系统架构的演变:从传统到分布式
带你了解文件系统架构的演变:从传统到分布式
329 0
|
19天前
|
NoSQL Java Redis
实现基于Redis的分布式锁机制
实现基于Redis的分布式锁机制
|
3天前
|
存储 缓存 NoSQL
Redis常见面试题(二):redis分布式锁、redisson、主从一致性、Redlock红锁;Redis集群、主从复制,哨兵模式,分片集群;Redis为什么这么快,I/O多路复用模型
redis分布式锁、redisson、可重入、主从一致性、WatchDog、Redlock红锁、zookeeper;Redis集群、主从复制,全量同步、增量同步;哨兵,分片集群,Redis为什么这么快,I/O多路复用模型——用户空间和内核空间、阻塞IO、非阻塞IO、IO多路复用,Redis网络模型
Redis常见面试题(二):redis分布式锁、redisson、主从一致性、Redlock红锁;Redis集群、主从复制,哨兵模式,分片集群;Redis为什么这么快,I/O多路复用模型
|
6天前
|
NoSQL Java Redis
如何使用Redis的setNx命令来实现分布式锁
如何使用Redis的setNx命令来实现分布式锁