ceph集群部署(准备阶段)
1. 配置静态网络(自选)
2. 配置主机名(必做)
ceph01:
hostnamectl set-hostname ceph01
ceph02:
hostnamectl set-hostname ceph02
ceph03:
hostnamectl set-hostname ceph03 • 1
3. 配置域名解析(必做)
这里以ceph01节点为例,其他节点方法相似
vi /etc/hosts
添加以下内容
192.168.100.30 ceph01 192.168.100.40 ceph02 192.168.100.50 ceph03
4. 安装命令补全相关的包(自选)
yum list all | grep bash yum install bash-completion.noarch -y reboot
等待一会儿,再重新连接服务器
5,每台服务器添加一块硬盘(必做)
自行添加
ceph集群部署
1. 配置免密登录(所有存储节点都需执行)
ssh-keygen ssh-copy-id ceph01 ssh-copy-id ceph02 ssh-copy-id ceph03
2. 更换网络源(所有节点都需要做)并安装ceph软件包
2.1 备份yum源
mkdir /etc/yum.repos.d/ch mv /etc/yum.repos.d/* /etc/yum.repos.d/ch
2.2 安装阿里源,下载wget等
curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo yum install -y wget wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo yum -y install yum-plugin-priorities.noarch
2.3配置Ceph源
cat << EOF | tee /etc/yum.repos.d/ceph.repo [Ceph] name=Ceph packages for $basearch baseurl=http://mirrors.163.com/ceph/rpm-nautilus/el7/\$basearch enabled=1 gpgcheck=0 type=rpm-md gpgkey=https://download.ceph.com/keys/release.asc priority=1 [Ceph-noarch] name=Ceph noarch packages baseurl=http://mirrors.163.com/ceph/rpm-nautilus/el7/noarch enabled=1 gpgcheck=0 type=rpm-md gpgkey=https://download.ceph.com/keys/release.asc priority=1 [ceph-source] name=Ceph source packages baseurl=http://mirrors.163.com/ceph/rpm-nautilus/el7/SRPMS enabled=1 gpgcheck=0 type=rpm-md gpgkey=https://download.ceph.com/keys/release.asc EOF
2.4 在所有集群和客户端节点安装Ceph
yum -y install ceph --skip-broke
2.5 在ceph01节点额外安装ceph-deploy
yum install -y python-setuptools yum -y install ceph-deploy
2.6 校验版本
ceph-deploy --version
3. 初始化Ceph集群
3.1 在管理点上创建一个目录,以维护为集群生成的配置文件和密钥。
mkdir cluster cd cluster
3.2 使用ceph-deploy创建集群
ceph-deploy new --public-network 192.168.200.0/24 --cluster-network 192.168.200.0/24 ceph01
这里直接指定cluster-network(集群内部通讯)和public-network(外部访问Ceph集群),也可以在执行命令后修改配置文件方式指定。
3.3 检查当前目录中的输出
3.4 查看ceph配置文件
cat ceph.conf
3.5安装Ceph包到指定节点
参数–no-adjust-repos是直接使用本地源,不生成官方源
ceph-deploy install --no-adjust-repos ceph01 ceph02 ceph03
4. 创建第一个monitor
创建监视器,初始化monitor,并收集所有密钥,官方介绍:为了获得高可用性,您应该运行带有至少三个监视器的生产Ceph集群。
ceph-deploy mon create-initial
4.1 初始化完毕后会自动生成以下几个文件
使用ceph-deploy命令将配置文件和 admin key复制到管理节点和Ceph节点,以便每次执行ceph CLI命令无需指定monitor地址和
ceph.client.admin.keyring。 ceph-deploy admin ceph01 ceph02 ceph03
4.2 查看复制的包
ssh ceph03 ls /etc/ceph
- 创建第一个manager
ceph-deploy mgr create ceph01
- 添加OSD盘
添加6个osd,假设每个节点中都有2个未使用的磁盘/dev/vdb。 确保该设备当前未使用并且不包含任何重要数据。(等待的时间长)
ceph-deploy osd create --data /dev/sdb ceph01 ceph-deploy osd create --data /dev/sdb ceph02 ceph-deploy osd create --data /dev/sdb ceph03
6.1检查集群健康状态
ceph health ceph health detail
注!如果回显“HEALTH_WARN mon is allowing insecure global_id reclaim”
解决办法:禁用不安全模式
ceph config set mon auth_allow_insecure_global_id_reclaim false
稍后再次查看,ceph status
就变成HEALTH_OK
了
6.2 查看集群状态详细信息
ceph -s