ceph集群的搭建

简介: ceph集群的搭建

ceph集群部署(准备阶段)

1. 配置静态网络(自选)

配置静态IP

2. 配置主机名(必做)

ceph01:

hostnamectl set-hostname ceph01

ceph02:

hostnamectl set-hostname ceph02

ceph03:

hostnamectl set-hostname ceph03
• 1

3. 配置域名解析(必做)

这里以ceph01节点为例,其他节点方法相似

vi /etc/hosts

添加以下内容

192.168.100.30  ceph01
192.168.100.40  ceph02
192.168.100.50  ceph03

4. 安装命令补全相关的包(自选)

yum list all | grep bash
yum install bash-completion.noarch  -y
reboot

等待一会儿,再重新连接服务器

5,每台服务器添加一块硬盘(必做)

自行添加

ceph集群部署

1. 配置免密登录(所有存储节点都需执行)

ssh-keygen
ssh-copy-id ceph01
ssh-copy-id ceph02
ssh-copy-id ceph03

2. 更换网络源(所有节点都需要做)并安装ceph软件包

2.1 备份yum源

mkdir /etc/yum.repos.d/ch
mv /etc/yum.repos.d/* /etc/yum.repos.d/ch

2.2 安装阿里源,下载wget等

curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
yum install -y wget
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
yum -y install yum-plugin-priorities.noarch

2.3配置Ceph源

cat << EOF | tee /etc/yum.repos.d/ceph.repo
[Ceph]
name=Ceph packages for $basearch
baseurl=http://mirrors.163.com/ceph/rpm-nautilus/el7/\$basearch
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
priority=1
[Ceph-noarch]
name=Ceph noarch packages
baseurl=http://mirrors.163.com/ceph/rpm-nautilus/el7/noarch
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
priority=1
[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.163.com/ceph/rpm-nautilus/el7/SRPMS
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
EOF

2.4 在所有集群和客户端节点安装Ceph

yum -y install ceph --skip-broke

2.5 在ceph01节点额外安装ceph-deploy

yum install -y python-setuptools 
yum -y install ceph-deploy

2.6 校验版本

ceph-deploy --version

3. 初始化Ceph集群

3.1 在管理点上创建一个目录,以维护为集群生成的配置文件和密钥。

mkdir cluster
cd cluster

3.2 使用ceph-deploy创建集群

ceph-deploy new --public-network 192.168.200.0/24 --cluster-network 192.168.200.0/24 ceph01

这里直接指定cluster-network(集群内部通讯)和public-network(外部访问Ceph集群),也可以在执行命令后修改配置文件方式指定。

3.3 检查当前目录中的输出

3.4 查看ceph配置文件

cat ceph.conf

3.5安装Ceph包到指定节点

参数–no-adjust-repos是直接使用本地源,不生成官方源

ceph-deploy install --no-adjust-repos ceph01 ceph02 ceph03

4. 创建第一个monitor

创建监视器,初始化monitor,并收集所有密钥,官方介绍:为了获得高可用性,您应该运行带有至少三个监视器的生产Ceph集群。

ceph-deploy mon create-initial

4.1 初始化完毕后会自动生成以下几个文件

使用ceph-deploy命令将配置文件和 admin key复制到管理节点和Ceph节点,以便每次执行ceph CLI命令无需指定monitor地址和

ceph.client.admin.keyring。
ceph-deploy admin ceph01 ceph02 ceph03

4.2 查看复制的包

ssh ceph03  ls /etc/ceph

  1. 创建第一个manager
ceph-deploy mgr create ceph01

  1. 添加OSD盘
    添加6个osd,假设每个节点中都有2个未使用的磁盘/dev/vdb。 确保该设备当前未使用并且不包含任何重要数据。(等待的时间长)
ceph-deploy osd create --data /dev/sdb ceph01
ceph-deploy osd create --data /dev/sdb ceph02
ceph-deploy osd create --data /dev/sdb ceph03

6.1检查集群健康状态

ceph health
ceph health detail

注!如果回显“HEALTH_WARN mon is allowing insecure global_id reclaim”

解决办法:禁用不安全模式

ceph config set mon auth_allow_insecure_global_id_reclaim false 

稍后再次查看,ceph status就变成HEALTH_OK

6.2 查看集群状态详细信息

ceph -s

目录
相关文章
|
存储 监控 关系型数据库
ceph简介及高可用集群搭建
ceph简介及高可用集群搭建
|
存储 算法 关系型数据库
【CEPH-初识篇】ceph详细介绍、搭建集群及使用,带你认识新大陆
你好,我是无名小歌。 今天给大家分享一个分布式存储系统ceph。 什么是ceph? Ceph在一个统一的系统中独特地提供对象、块和文件存储。Ceph 高度可靠、易于管理且免费。Ceph 的强大功能可以改变您公司的 IT 基础架构和管理大量数据的能力。Ceph 提供了非凡的可扩展性——数以千计的客户端访问 PB 到 EB 的数据。ceph存储集群相互通信以动态复制和重新分配数据。
1258 0
【CEPH-初识篇】ceph详细介绍、搭建集群及使用,带你认识新大陆
|
3月前
|
存储
Ceph Reef(18.2.X)的CephFS高可用集群实战案例
这篇文章是关于Ceph Reef(18.2.X)版本中CephFS高可用集群的实战案例,涵盖了CephFS的基础知识、一主一从架构的搭建、多主一从架构的配置、客户端挂载方式以及fuse方式访问CephFS的详细步骤和配置。
101 3
Ceph Reef(18.2.X)的CephFS高可用集群实战案例
|
3月前
|
块存储
ceph-deploy部署ceph分部署集群
这篇博客详细介绍了如何使用ceph-deploy工具部署Ceph集群,包括环境准备、配置hosts、免密登录、时间同步、添加块设备、部署mon、mgr组件以及初始化OSD节点的步骤,并提供了在部署过程中可能遇到的问题和解决方案。
180 4
|
5月前
|
存储 关系型数据库 算法框架/工具
Ceph 架构以及部署
Ceph 架构以及部署
185 26
|
7月前
|
存储 关系型数据库 网络安全
CEPH搭建
CEPH搭建
182 0
|
块存储
ceph集群的搭建(下)
ceph集群的搭建
161 0
|
存储 Prometheus Kubernetes
实战篇:使用rook在k8s上搭建ceph集群
实战篇:使用rook在k8s上搭建ceph集群
976 0
|
存储 监控 网络安全
Ceph集群搭建篇
Ceph集群搭建篇
678 0
|
存储 安全 块存储
一键部署ceph(luminous)集群脚本
一键部署ceph(luminous)集群脚本