CentOS7 Ceph RBD CephFS 存储-阿里云开发者社区

开发者社区> 技术小阿哥> 正文

CentOS7 Ceph RBD CephFS 存储

简介:
+关注继续查看

Ceph RBD  CephFS 存储

环境准备: (这里只做基础测试, ceph-manager , ceph-mon, ceph-osd 一共三台)

10.6.0.140 = ceph-manager

10.6.0.187 = ceph-mon-1

10.6.0.188 = ceph-osd-1

10.6.0.94 = node-94

 

注: ceph 对时间要求很严格, 一定要同步所有的服务器时间


一、在 manager 上面修改 /etc/hosts :

10.6.0.187 ceph-mon-1
10.6.0.188 ceph-osd-1
10.6.0.94 node-94


二、并修改各服务器上面的 hostname (说明:ceph-deploy工具都是通过主机名与其他节点通信)

hostnamectl --static set-hostname ceph-manager
hostnamectl --static set-hostname ceph-mon-1
hostnamectl --static set-hostname ceph-osd-1
hostnamectl --static set-hostname node-94


三、配置manager节点与其他节点ssh key 访问

[root@ceph-manager ~]# ssh-keygen


将key 发送到各节点中

[root@ceph-manager ~]#ssh-copy-id ceph-mon-1
[root@ceph-manager ~]#ssh-copy-id ceph-osd-1


四、在manager节点安装 ceph-deploy

[root@ceph-manager ~]#yum -y install centos-release-ceph
[root@ceph-manager ~]#yum makecache
[root@ceph-manager ~]#yum -y install ceph-deploy ntpdate

在其他各节点安装 ceph 的yum源

[root@ceph-mon-1 ~]# yum -y install centos-release-ceph
[root@ceph-mon-1 ~]# yum makecache


[root@ceph-osd-1 ~]# yum -y install centos-release-ceph
[root@ceph-osd-1 ~]# yum makecache

五、配置ceph集群

创建ceph 目录
[root@ceph-manager ~]#mkdir -p /etc/ceph
[root@ceph-manager ~]#cd /etc/ceph

创建监控节点:
[root@ceph-manager /etc/ceph]#ceph-deploy new ceph-mon-1

执行完毕会生成 ceph.conf ceph.log ceph.mon.keyring 三个文件

编辑 ceph.conf 增加 osd 节点数量
在最后增加:
osd pool default size = 1


使用ceph-deploy在所有机器安装ceph

[root@ceph-manager /etc/ceph]# ceph-deploy install ceph-manager ceph-mon-1 ceph-osd-1

如果出现错误,也可以到各节点中直接 yum -y install ceph ceph-radosgw 进行安装


初始化监控节点

[root@ceph-manager /etc/ceph]# ceph-deploy mon create-initial

 

osd 节点创建存储空间

[root@ceph-osd-1 ~]# mkdir -p /opt/osd1


在管理节点上启动 并 激活 osd 进程

[root@ceph-manager ~]# ceph-deploy osd prepare ceph-osd-1:/opt/osd1
[root@ceph-manager ~]# ceph-deploy osd activate ceph-osd-1:/opt/osd1


把管理节点的配置文件与keyring同步至其它节点

[root@ceph-manager ~]# ceph-deploy admin ceph-mon-1 ceph-osd-1


查看集群健康状态 (HEALTH_OK 表示OK)

[root@ceph-manager ~]# ceph health
HEALTH_OK

 


客户端 挂载: ceph 有多种挂载方式, rbd 块设备映射, cephfs 挂载 等

注:
在生产环境中,客户端应该对应pool的权限,而不是admin 权限


[root@ceph-manager ~]# ssh-copy-id node-94

客户端安装ceph
[root@ceph-manager ~]# ceph-deploy install node-94


或者 登陆 node-94 执行 yum -y install ceph ceph-radosgw

如果ssh 非22端口,会报错 可使用 scp 传

scp -P端口 ceph.conf node-94:/etc/ceph/
scp -P端口 ceph.client.admin.keyring node-94:/etc/ceph/


创建一个pool
[root@ceph-manager ~]# ceph osd pool create press 100
pool 'press' created


设置pool 的pgp_num
[root@ceph-manager ~]# ceph osd pool set press pgp_num 100


查看创建的pool
[root@ceph-manager ~]# ceph osd lspools
0 rbd,1 press,


设置副本数为2 (osd 必须要大于或者等于副本数,否则报错, 千万注意)
[root@ceph-manager ~]# ceph osd pool set press size 2


创建一个100G 名为 image 镜像
[root@ceph-manager ~]# rbd create -p press --size 100000 image


查看一下镜像:
[root@ceph-manager ~]# rbd -p press info image
rbd image 'image':
size 100000 MB in 25000 objects
order 22 (4096 kB objects)
block_name_prefix: rb.0.104b.74b0dc51
format: 1

 

客户端块存储挂载:
在node-94 上面 map 镜像
[root@node-94 ~]# rbd -p press map image
/dev/rbd0


格式化 image
[root@node-94 ~]# mkfs.xfs /dev/rbd0

创建挂载目录
[root@node-94 ~]# mkdir /opt/rbd


挂载 rbd
[root@node-94 ~]# mount /dev/rbd0 /opt/rbd

[root@node-94 ~]# time dd if=/dev/zero of=haha bs=1M count=1000

 

取消 map 镜像
[root@node-94 ~]# umount /opt/rbd
[root@node-94 ~]# rbd unmap /dev/rbd0

 

 

 

客户端 cephFS 文件系统 (cephFS 必须要有2个osd 才能运行,请注意):

使用 cephFS 集群中必须有 mds 服务

创建 mds 服务 (由于机器有限就在 mon 的服务器上面 创建 mds 服务)
[root@ceph-manager ~]# ceph-deploy mds create ceph-mon-1

 

创建2个pool 做为文件系统的data 与 metadata

[root@ceph-manager ~]# ceph osd pool create cephfs_data 99
pool 'cephfs_data' created


[root@ceph-manager ~]# ceph osd pool create cephfs_metadata 99
pool 'cephfs_metadata' created


创建 文件系统:
[root@ceph-manager ~]# ceph fs new jicki cephfs_metadata cephfs_data
new fs with metadata pool 6 and data pool 5


查看所有文件系统:
[root@ceph-manager ~]# ceph fs ls
name: jicki, metadata pool: cephfs_metadata, data pools: [cephfs_data ]


删除一个文件系统
[root@ceph-manager ~]# ceph fs rm jicki --yes-i-really-mean-it

 

客户端挂载 cephFS

安装 ceph-fuse:
[root@node-94 ~]# yum install ceph-fuse -y

创建挂载目录:
[root@node-94 ~]# mkdir -p /opt/jicki
[root@node-94 ~]# ceph-fuse /opt/jicki
[root@node-94 ~]# df -h|grep ceph
ceph-fuse 1.6T 25G 1.6T 2% /opt/jicki

 


本文转自 OpenStack2015 51CTO博客,原文链接:http://blog.51cto.com/andyliu/1896782,如需转载请自行联系原作者

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
10073 0
带你读《存储漫谈Ceph原理与实践》第三章接入层3.1块存储 RBD
《存储漫谈Ceph原理与实践》第三章接入层3.1块存储 RBD
50 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
10882 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
13882 0
《存储漫谈Ceph原理与实践》第三章接入层3.2对象存储RGW(一)
《存储漫谈Ceph原理与实践》第三章接入层3.2对象存储RGW
31 0
Rook-Ceph 分布式存储系统快速部署
Rook-Ceph 分布式存储系统快速部署 This guide will walk you through the basic setup of a Ceph cluster and enable you to consume block, object, and file storage from other pods running in your cluster.
4916 0
13694
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载