openstack 与 ceph (架构)

简介: 参考架构硬件配置ceph 由 7 台 华为 RH2288A 组成, 硬件信息:硬件 型号 数量 统计cpu Intel(R) Xeon(R) CPU E5-2630 v2 @ 2.60GHz 2 24核内存 16GB 4条 64GB硬盘 4.0 TB 12 48TB网卡 千

参考架构

ceph架构

硬件配置

ceph 由 7 台 华为 RH2288A 组成, 硬件信息:

硬件 型号 数量 统计
cpu Intel(R) Xeon(R) CPU E5-2630 v2 @ 2.60GHz 2 24核
内存 16GB 4条 64GB
硬盘 4.0 TB 12 48TB
网卡 千兆 2 2
网卡 万兆 2 2

参考主机信息

主机名 bond0 bond0mask bond0gw bond1 bond1mask bond1gw
hh-yun-ceph-cinder015-128055.vclound.com 10.199.128.55 255.255.252.0 10.199.128.1 240.30.128.55 255.255.248.0 null
hh-yun-ceph-cinder016-128056.vclound.com 10.199.128.56 255.255.252.0 10.199.128.1 240.30.128.56 255.255.248.0 null
hh-yun-ceph-cinder017-128057.vclound.com 10.199.128.57 255.255.252.0 10.199.128.1 240.30.128.57 255.255.248.0 null
hh-yun-ceph-cinder023-128073.vclound.com 10.199.128.73 255.255.252.0 10.199.128.1 240.30.128.73 255.255.248.0 null
hh-yun-ceph-cinder024-128074.vclound.com 10.199.128.74 255.255.252.0 10.199.128.1 240.30.128.74 255.255.248.0 null
hh-yun-ceph-cinder025-128075.vclound.com 10.199.128.75 255.255.252.0 10.199.128.1 240.30.128.75 255.255.248.0 null
hh-yun-ceph-cinder026-128076.vclound.com 10.199.128.76 255.255.252.0 10.199.128.1 240.30.128.76 255.255.248.0 null

ceph 集群组成部分

monitor 节点

CEPH 集群需要至少一个 MONITOR, 一个或多个 OSD 复制对象存储到集群中,  为提高可用性, 当前集群使用了 3 个 MON 进程.
初始化 MONITOR 是部署 CEPH 存储集群的第一步
监控设定了整个集群的重要标准,  例如复制池的数量, 每个 OSD 的 PG 数量, 心跳时间间隔及认证
上述的值可以按照默认设定, 但生产环境下最好知道这些值的作用

osd

OSD 进程, 用于存储数据, 控制数据复制,恢复, reblance, 为 ceph mon 提供监控信息, 自带 osd 心跳
一个 CEPH 集群具有两份数据副本复制时, 那么集群中至少需要两个 osd 进程处于活动状态 (显示为 active+clean)

openstack 与 ceph

ceph 块设备使用 thin-provision (非预占式), 可以重定义大小, 线性方式存储数据到 ceph 集群中的多个 osd,
ceph 块设备影响 RADOS 性能, 如快照, 复制及同步,  ceph 的 RADOS 块设备 (RBD) 接口通过内核模块或者 librdb 库工作
注意:  内核模块可以使用 linux 页缓存, librdb 基于应用层,  ceph 支持 RDB 缓存

可以使用 ceph 块设备 images 与 openstack libvir 进行对接, 配置 QEMU 接口连接 librbd, ceph 条带块设备镜像作为对象跨越到整个集群, 
使用大的 ceph 块设备性能会比使用一个独立的标准服务器要好
openstack 使用 ceph 块设备, 你需要先安装 QEMU, libvirt 与 openstack
我们推荐使用分离的物理节点进行安装 openstack, openstack 推荐至少使用 8G 及多核 CPU,
参考下面的 openstack/ceph 逻辑结构
可以利用 ceph 块设备 images 与 openstack libvir 进行对接 QEMU 接口连接 librbd
利用 ceph 创建的虚拟块设备会以条带方式存放在整个 ceph 集群中
openstack 要使用 ceph 块设备, 你需要先安装 QEMU, libvirt 与 openstack,  并把 ceph 存储配置完成
+--------------------+
|      openstack     |
+--------------------+
|      libvirt       |
 --------------------+
          |
          | configure
          |
+--------------------+
|        qemu        |
+--------------------+
|       librbd       |
+--------------------+
|     librados       |
+-------+-+----------+
|  osds | | monitors |
+-------+ +----------+

注意: 假如你希望利用 ceph 启动虚拟机, 但ceph 不支持 qcow2 作为虚拟机磁盘格式, glance image 格式必须是 raw

目录
相关文章
|
1月前
|
存储 算法 关系型数据库
Ceph介绍及原理架构分享
Ceph介绍及原理架构分享
125 0
|
6月前
|
存储 关系型数据库 数据库
【北亚企安数据恢复】Ceph分布式存储基本架构&Ceph数据恢复流程
Ceph存储可分为块存储,对象存储和文件存储。Ceph基于对象存储,对外提供三种存储接口,故称为统一存储。 Ceph的底层是RADOS(分布式对象存储系统),RADOS由两部分组成:OSD和MON。 MON负责监控整个集群,维护集群的健康状态,维护展示集群状态的各种图表,如OSDMap、MonitorMap、PGMap和CRUSHMap。 OSD负责存储数据、复制数据、平衡数据、恢复数据,与其它OSD间进行心跳检查等。通常情况下一块硬盘对应一个OSD。
|
3月前
|
存储 Kubernetes 对象存储
Kubernetes存储:Ceph架构,部署和使用
Kubernetes存储:Ceph架构,部署和使用
57 0
|
5月前
|
存储 缓存 运维
openstack对接ceph存储
openstack对接ceph存储
|
7月前
|
存储 安全 块存储
ceph-架构扩展
ceph-架构扩展
273 1
|
7月前
|
存储 安全 NoSQL
架构扩展-ceph(1)
架构扩展-ceph(1)
103 0
|
8月前
|
存储 运维 Kubernetes
分布式开源存储架构Ceph概述
k8s的后端存储中ceph应用较为广泛,当前的存储市场仍然是由一些行业巨头垄断,但在开源市场还是有一些不错的分布式存储,其中包括了Ceph、Swift、sheepdog、glusterfs等
691 0
|
10月前
|
存储 运维 网络协议
带你读《存储漫谈:Ceph原理与实践》——1.1.1 集中式存储系统
带你读《存储漫谈:Ceph原理与实践》——1.1.1 集中式存储系统
|
10月前
|
存储 缓存 大数据
带你读《存储漫谈:Ceph原理与实践》——1.1.2 分布式存储系统
带你读《存储漫谈:Ceph原理与实践》——1.1.2 分布式存储系统
|
10月前
|
存储 算法 大数据
带你读《存储漫谈:Ceph原理与实践》——1.2.1 有中心架构
带你读《存储漫谈:Ceph原理与实践》——1.2.1 有中心架构