最近工作涉及到了ceph相关的内容，虽然只是一点点皮毛，但是还是有必要去了解下，以备不时之需，方便与他人交流和沟通。 在网上也找了一些介绍，很多都介绍的有点不清不楚，有头无尾，找了一个比较清晰的介绍来做一下记录，从中提取一些关键点。完整部分见阅读原文。
- 介绍
Ceph是一个统一的分布式存储系统，其设计初衷是提供较好的性能、可靠性和可扩展性。在经过多年的发展之后，目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack都可与Ceph整合以支持虚拟机镜像的后端存储。
- 优势
- 高性能
- 摒弃了传统的集中式存储元数据寻址的方案，采用CRUSH算法，数据分布均衡，并行度高
- 考虑了容灾域的隔离，能够实现各类负载的副本放置规则，例如跨机房、机架感知等
- 能够支持上千个存储节点的规模。支持TB到PB级的数据
- 高可用
- 副本数可以灵活控制
- 支持故障域分隔，数据强一致性
- 多种故障场景自动进行修复自愈没有单点故障，自动管理
- 高扩展性
- 去中心化
- 扩展灵活
- 随着节点增加，性能线性增长
- 特性丰富
- 支持三种存储接口：对象存储，块设备存储，文件存储
- 支持自定义接口，支持多种语言驱动
- 基本结构
- Ceph的底层是RADOS，RADOS本身也是分布式存储系统，Ceph所有的存储功能都是基于RADOS实现的。RADOS采用C++开发，所提供的原生Librados API包括C和C++两种。
- Ceph的上层应用调用本机上的librados API，再由后者通过socket与RADOS集群中的其他节点通信并完成各种操作。
- RADOS GateWay、RBD其作用是在librados库的基础上提供抽象层次更高、更便于应用或客户端使用的上层接口。
- 其中RADOS GW是一个提供与Amazon S3和Swift兼容的RESTful API的gateway，以供相应的对象存储应用开发使用。
- RBD则提供了一个标准的块设备接口，常用于在虚拟化的场景下为虚拟机创建volume。
- 目前，RedHat已经将RBD驱动集成在KVM/QEMU中，以提供虚拟机访问性能。这两种方式目前在云计算中应用的比较多。
- CephFS则提供了POSIX接口，用户可直接通过客户端挂载使用。它是内核态的程序，所有无需调用用户空间的librados库。它通过内核中的net模块来与RADOS进行交互。
- 基本组件
如上图所示，Ceph主要有三个基本进程：
- OSD
- 用于集群中所有数据与对象的存储。处理集群数据的复制、恢复、回填、再均衡。并向其他osd守护进程发送心跳，然后向Mon提供一些监控信息。
- 当Ceph存储集群设定的数据有两个副本时（一共存两份），则至少需要两个OSD守护进程，即两个OSD节点，集群才能到达active+clean状态。
- MDS(可选)
- 为Ceph文件系统提供元数据计算、缓存与同步。在Ceph中，元数据也是存储在osd节点中的，mds类似于元数据的代理缓存服务器。MDS进程并不是必须的进程，只有需要使用CephFS时，才需要配置MDS节点。
- Monitor
- 监控整个集群的状态，维护集群的cluster MAP二进制表，保证集群数据的一致性。ClusterMAP描述了对象块存储的物理位置，以及一个将设备聚合到物理位置的桶列表。
- 基本概念
- Object
- Ceph最底层的存储单元，每个Object包含元数据和原始数据。
- PG
- 全称Placement Groups，是一个逻辑的概念，一个PG包含多个OSD。引入PG这一层其实是为了更好的分配数据和定位数据。
- RADOS
- 全称Reliable Autonomic Distributed Object Store，是Ceph集群的精华，用户实现数据分配、Failover等集群操作。
- Librados
- Librados是RADOS提供的库。因为RADOS很难直接访问，因此上层的RBD、RGW和CephFS都是通过Librados访问的。
- CRUSH
- 是Ceph使用的数据分布算法，让数据分配到预期的地方。
- RBD
- 全称RADOS block device，是Ceph对外提供的块设备服务。
- RGW
- 全称RADOS GateWay，是Ceph对外提供的对象存储服务，接口与S3、Swift兼容。
- CephFS
- 全称Ceph File System，是Ceph对外提供的文件系统服务。
