AI 助理
备案控制台登录注册
开发者社区 云计算 文章 正文

ceph集群的OSD设备扩缩容实战指南

2024-09-03 412 发布于北京
版权
举报
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 这篇文章详细介绍了Ceph集群中OSD设备的扩容和缩容过程，包括如何添加新的OSD设备、如何准备和部署，以及如何安全地移除OSD设备并从Crushmap中清除相关配置。

一.ceph集群的OSD设备扩容实战

1.添加osd的准备条件

为什么要添加OSD？
    因为随着我们对ceph集群的使用，资源可能会被消耗殆尽，这个时候就得想法扩容集群资源，对于ceph存储资源的扩容，我们只需要添加相应的OSD节点即可。

添加OSD的准备条件:
    我们需要单独添加一个新的节点并为其多添加2块500GB磁盘。

如果设备不存在，则参考如下操作。
[root@ceph144 ~]# lsblk 
NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda               8:0    0   20G  0 disk 
├─sda1            8:1    0    1G  0 part /boot
└─sda2            8:2    0   19G  0 part 
  ├─centos-root 253:0    0   17G  0 lvm  /
  └─centos-swap 253:1    0    2G  0 lvm  [SWAP]
sr0              11:0    1  4.5G  0 rom  
[root@ceph144 ~]# 
[root@ceph144 ~]# 
[root@ceph144 ~]# for i in `seq 0 2`; do echo "- - -" > /sys/class/scsi_host/host${i}/scan;done
[root@ceph144 ~]# 
[root@ceph144 ~]# lsblk 
NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda               8:0    0   20G  0 disk 
├─sda1            8:1    0    1G  0 part /boot
└─sda2            8:2    0   19G  0 part 
  ├─centos-root 253:0    0   17G  0 lvm  /
  └─centos-swap 253:1    0    2G  0 lvm  [SWAP]
sdb               8:16   0  500G  0 disk 
sdc               8:32   0  500G  0 disk 
sr0              11:0    1  4.5G  0 rom  
[root@ceph144 ~]#


        

          
        

        
        

          

          AI 代码解读

2.新增节点部署ceph软件包

    1 备国内的软件源（含基础镜像软件源和epel源）
[root@ceph144 ~]# curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
[root@ceph144 ~]# curl -o /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

    2 所有节点配置ceph软件源
[root@ceph144 ~]# cat > /etc/yum.repos.d/ceph.repo << EOF
[Ceph]
name=Ceph packages for $basearch
baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/\$basearch
gpgcheck=0
[Ceph-noarch]
name=Ceph noarch packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/noarch
gpgcheck=0
[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/SRPMS
gpgcheck=0
EOF

    3 安装ceph环境的基础包
[root@ceph144 ~]# yum -y install ceph-osd


        

          
        

        
        

          

          AI 代码解读

3.管理端添加osd设备前的状态查看

[root@ceph141 ~]# ceph -s
  cluster:
    id:     5821e29c-326d-434d-a5b6-c492527eeaad
    health: HEALTH_OK

  services:
    mon: 3 daemons, quorum ceph141,ceph142,ceph143 (age 23h)
    mgr: ceph141(active, since 22h), standbys: ceph143, ceph142
    osd: 7 osds: 7 up (since 22h), 7 in (since 22h)

  data:
    pools:   3 pools, 96 pgs
    objects: 74 objects, 114 MiB
    usage:   7.8 GiB used, 1.9 TiB / 2.0 TiB avail
    pgs:     96 active+clean

[root@ceph141 ~]# 
[root@ceph141 ~]# ceph osd tree
ID CLASS WEIGHT  TYPE NAME        STATUS REWEIGHT PRI-AFF 
-1       1.95319 root default                             
-3       0.48830     host ceph141                         
 0   hdd 0.19530         osd.0        up  1.00000 1.00000 
 1   hdd 0.29300         osd.1        up  1.00000 1.00000 
-5       0.97659     host ceph142                         
 2   hdd 0.19530         osd.2        up  1.00000 1.00000 
 3   hdd 0.29300         osd.3        up  1.00000 1.00000 
 4   hdd 0.48830         osd.4        up  1.00000 1.00000 
-7       0.48830     host ceph143                         
 5   hdd 0.19530         osd.5        up  1.00000 1.00000 
 6   hdd 0.29300         osd.6        up  1.00000 1.00000 
[root@ceph141 ~]#


        

          
        

        
        

          

          AI 代码解读

4.待添加节点的设备状态

[root@ceph144 ~]# lsblk 
NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda               8:0    0   20G  0 disk 
├─sda1            8:1    0    1G  0 part /boot
└─sda2            8:2    0   19G  0 part 
  ├─centos-root 253:0    0   17G  0 lvm  /
  └─centos-swap 253:1    0    2G  0 lvm  [SWAP]
sdb               8:16   0  500G  0 disk 
sdc               8:32   0  500G  0 disk 
sr0              11:0    1  4.5G  0 rom  
[root@ceph144 ~]#


        

          
        

        
        

          

          AI 代码解读

5.ceph-deploy节点配置和待添加节点免密要登录

[root@harbor250 ~]# ssh-copy-id ceph144


        

          
        

        
        

          

          AI 代码解读

6.ceph-deploy节点开始添加设备

[root@harbor250 ~]#  cd /yinzhengjie/softwares/ceph-cluster
[root@harbor250 ceph-cluster]# 
[root@harbor250 ceph-cluster]# ceph-deploy osd create ceph144 --data /dev/sdb  # 添加ceph144节点的"/dev/sdb"磁盘设备
...
[ceph144][WARNIN] Running command: /bin/systemctl start ceph-osd@7
[ceph144][WARNIN] --> ceph-volume lvm activate successful for osd ID: 7
[ceph144][WARNIN] --> ceph-volume lvm create successful for: /dev/sdb
[ceph144][INFO  ] checking OSD status...
[ceph144][DEBUG ] find the location of an executable
[ceph144][INFO  ] Running command: /bin/ceph --cluster=ceph osd stat --format=json
[ceph_deploy.osd][DEBUG ] Host ceph144 is now ready for osd use.
[root@harbor250 ceph-cluster]#  
[root@harbor250 ceph-cluster]# ceph-deploy osd create ceph144 --data /dev/sdc  # 添加ceph144节点的"/dev/sdc"磁盘设备
...
[ceph144][WARNIN] Running command: /bin/systemctl start ceph-osd@8
[ceph144][WARNIN] --> ceph-volume lvm activate successful for osd ID: 8
[ceph144][WARNIN] --> ceph-volume lvm create successful for: /dev/sdc
[ceph144][INFO  ] checking OSD status...
[ceph144][DEBUG ] find the location of an executable
[ceph144][INFO  ] Running command: /bin/ceph --cluster=ceph osd stat --format=json
[ceph_deploy.osd][DEBUG ] Host ceph144 is now ready for osd use.
[root@harbor250 ceph-cluster]#


        

          
        

        
        

          

          AI 代码解读

7.查看客户端添加后的设备状态

[root@ceph144 ~]# lsblk 
NAME                                                                                                MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda                                                                                                   8:0    0   20G  0 disk 
├─sda1                                                                                                8:1    0    1G  0 part /boot
└─sda2                                                                                                8:2    0   19G  0 part 
  ├─centos-root                                                                                     253:0    0   17G  0 lvm  /
  └─centos-swap                                                                                     253:1    0    2G  0 lvm  [SWAP]
sdb                                                                                                   8:16   0  500G  0 disk 
└─ceph--c7502f61--dc1f--4e2a--b2e2--149810ab3351-osd--block--ec3ba06b--cacf--4392--820e--155c3b0b675d
                                                                                                    253:2    0  500G  0 lvm  
sdc                                                                                                   8:32   0  500G  0 disk 
└─ceph--89678d7b--d0a0--49ed--87ba--341b254508ba-osd--block--1b134e65--ef8b--4464--932e--14bb23ebfc4e
                                                                                                    253:3    0  500G  0 lvm  
sr0                                                                                                  11:0    1  4.5G  0 rom  
[root@ceph144 ~]#


        

          
        

        
        

          

          AI 代码解读

8.管理端再次查看osd状态

[root@ceph141 ~]# ceph -s
  cluster:
    id:     5821e29c-326d-434d-a5b6-c492527eeaad
    health: HEALTH_OK

  services:
    mon: 3 daemons, quorum ceph141,ceph142,ceph143 (age 23h)
    mgr: ceph141(active, since 22h), standbys: ceph143, ceph142
    osd: 9 osds: 9 up (since 91s), 9 in (since 91s)

  data:
    pools:   3 pools, 96 pgs
    objects: 74 objects, 114 MiB
    usage:   10 GiB used, 2.9 TiB / 2.9 TiB avail
    pgs:     96 active+clean

[root@ceph141 ~]# 
[root@ceph141 ~]# ceph osd tree
ID CLASS WEIGHT  TYPE NAME        STATUS REWEIGHT PRI-AFF 
-1       2.92978 root default                             
-3       0.48830     host ceph141                         
 0   hdd 0.19530         osd.0        up  1.00000 1.00000 
 1   hdd 0.29300         osd.1        up  1.00000 1.00000 
-5       0.97659     host ceph142                         
 2   hdd 0.19530         osd.2        up  1.00000 1.00000 
 3   hdd 0.29300         osd.3        up  1.00000 1.00000 
 4   hdd 0.48830         osd.4        up  1.00000 1.00000 
-7       0.48830     host ceph143                         
 5   hdd 0.19530         osd.5        up  1.00000 1.00000 
 6   hdd 0.29300         osd.6        up  1.00000 1.00000 
-9       0.97659     host ceph144                         
 7   hdd 0.48830         osd.7        up  1.00000 1.00000 
 8   hdd 0.48830         osd.8        up  1.00000 1.00000 
[root@ceph141 ~]#


        

          
        

        
        

          

          AI 代码解读

二.ceph集群OSD设备的缩容实战

1.服务端找出osd对应的一串编码

[root@ceph141 ~]# ceph osd tree
ID CLASS WEIGHT  TYPE NAME        STATUS REWEIGHT PRI-AFF 
-1       2.92978 root default                             
-3       0.48830     host ceph141                         
 0   hdd 0.19530         osd.0        up  1.00000 1.00000 
 1   hdd 0.29300         osd.1        up  1.00000 1.00000 
-5       0.97659     host ceph142                         
 2   hdd 0.19530         osd.2        up  1.00000 1.00000 
 3   hdd 0.29300         osd.3        up  1.00000 1.00000 
 4   hdd 0.48830         osd.4        up  1.00000 1.00000 
-7       0.48830     host ceph143                         
 5   hdd 0.19530         osd.5        up  1.00000 1.00000 
 6   hdd 0.29300         osd.6        up  1.00000 1.00000 
-9       0.97659     host ceph144                         
 7   hdd 0.48830         osd.7        up  1.00000 1.00000 
 8   hdd 0.48830         osd.8        up  1.00000 1.00000 
[root@ceph141 ~]# 
[root@ceph141 ~]# ceph osd dump | egrep "osd.7|osd.8"
osd.7 up   in  weight 1 up_from 548 up_thru 563 down_at 0 last_clean_interval [0,0) [v2:10.0.0.144:6800/12665,v1:10.0.0.144:6801/12665] [v2:10.0.0.144:6802/12665,v1:10.0.0.144:6803/12665] exists,up ec3ba06b-cacf-4392-820e-155c3b0b675d
osd.8 up   in  weight 1 up_from 564 up_thru 573 down_at 0 last_clean_interval [0,0) [v2:10.0.0.144:6808/13111,v1:10.0.0.144:6809/13111] [v2:10.0.0.144:6810/13111,v1:10.0.0.144:6811/13111] exists,up 1b134e65-ef8b-4464-932e-14bb23ebfc4e
[root@ceph141 ~]#


        

          
        

        
        

          

          AI 代码解读

2.客户端查看编码是否对应

[root@ceph144 ~]# lsblk 
NAME                                                                                                MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda                                                                                                   8:0    0   20G  0 disk 
├─sda1                                                                                                8:1    0    1G  0 part /boot
└─sda2                                                                                                8:2    0   19G  0 part 
  ├─centos-root                                                                                     253:0    0   17G  0 lvm  /
  └─centos-swap                                                                                     253:1    0    2G  0 lvm  [SWAP]
sdb                                                                                                   8:16   0  500G  0 disk 
└─ceph--c7502f61--dc1f--4e2a--b2e2--149810ab3351-osd--block--ec3ba06b--cacf--4392--820e--155c3b0b675d
                                                                                                    253:2    0  500G  0 lvm  
sdc                                                                                                   8:32   0  500G  0 disk 
└─ceph--89678d7b--d0a0--49ed--87ba--341b254508ba-osd--block--1b134e65--ef8b--4464--932e--14bb23ebfc4e
                                                                                                    253:3    0  500G  0 lvm  
sr0                                                                                                  11:0    1  4.5G  0 rom  
[root@ceph144 ~]#


        

          
        

        
        

          

          AI 代码解读

3.服务端剔除OSD

    1 单独开一个终端执行
[root@ceph142 ~]# ceph -w  # 可以查看ceph的数据迁移情况，可以单独开一个终端执行
  cluster:
    id:     5821e29c-326d-434d-a5b6-c492527eeaad
    health: HEALTH_OK

  services:
    mon: 3 daemons, quorum ceph141,ceph142,ceph143 (age 23h)
    mgr: ceph141(active, since 22h), standbys: ceph143, ceph142
    osd: 9 osds: 9 up (since 5m), 9 in (since 5m)

  data:
    pools:   3 pools, 96 pgs
    objects: 74 objects, 114 MiB
    usage:   10 GiB used, 2.9 TiB / 2.9 TiB avail
    pgs:     96 active+clean


...  # 当我们执行"ceph osd out ..."相关代码时，就会出现如下的所示信息。

2024-02-01 16:57:27.280545 mon.ceph141 [INF] Client client.admin marked osd.7 out, while it was still marked up
2024-02-01 16:57:32.497417 mon.ceph141 [WRN] Health check failed: Degraded data redundancy: 11/222 objects degraded (4.955%), 2 pgs degraded (PG_DEGRADED)
2024-02-01 16:57:38.912016 mon.ceph141 [INF] Health check cleared: PG_DEGRADED (was: Degraded data redundancy: 11/222 objects degraded (4.955%), 2 pgs degraded)
2024-02-01 16:57:38.912062 mon.ceph141 [INF] Cluster is now healthy
2024-02-01 16:58:29.198849 mon.ceph141 [INF] Client client.admin marked osd.8 out, while it was still marked up
2024-02-01 16:58:33.044142 mon.ceph141 [WRN] Health check failed: Reduced data availability: 1 pg peering (PG_AVAILABILITY)
2024-02-01 16:58:33.044162 mon.ceph141 [WRN] Health check failed: Degraded data redundancy: 36/222 objects degraded (16.216%), 7 pgs degraded (PG_DEGRADED)
2024-02-01 16:58:38.462308 mon.ceph141 [WRN] Health check update: Reduced data availability: 6 pgs peering (PG_AVAILABILITY)
2024-02-01 16:58:39.469179 mon.ceph141 [WRN] Health check update: Degraded data redundancy: 1 pg degraded (PG_DEGRADED)
2024-02-01 16:58:39.469198 mon.ceph141 [INF] Health check cleared: PG_AVAILABILITY (was: Reduced data availability: 6 pgs peering)
2024-02-01 16:58:42.549459 mon.ceph141 [INF] Health check cleared: PG_DEGRADED (was: Degraded data redundancy: 1 pg degraded)
2024-02-01 16:58:42.549485 mon.ceph141 [INF] Cluster is now healthy
...


    2 再次单独开一个终端执行
[root@ceph141 ~]# ceph osd out osd.7  # 当剔除OSD时，权重会变为0
marked out osd.7. 
[root@ceph141 ~]# 
[root@ceph141 ~]# ceph osd out osd.8
marked out osd.8. 
[root@ceph141 ~]# 
[root@ceph141 ~]# ceph osd tree
ID CLASS WEIGHT  TYPE NAME        STATUS REWEIGHT PRI-AFF 
-1       2.92978 root default                             
-3       0.48830     host ceph141                         
 0   hdd 0.19530         osd.0        up  1.00000 1.00000 
 1   hdd 0.29300         osd.1        up  1.00000 1.00000 
-5       0.97659     host ceph142                         
 2   hdd 0.19530         osd.2        up  1.00000 1.00000 
 3   hdd 0.29300         osd.3        up  1.00000 1.00000 
 4   hdd 0.48830         osd.4        up  1.00000 1.00000 
-7       0.48830     host ceph143                         
 5   hdd 0.19530         osd.5        up  1.00000 1.00000 
 6   hdd 0.29300         osd.6        up  1.00000 1.00000 
-9       0.97659     host ceph144                         
 7   hdd 0.48830         osd.7        up        0 1.00000 
 8   hdd 0.48830         osd.8        up        0 1.00000 
[root@ceph141 ~]#


        

          
        

        
        

          

          AI 代码解读

4.客户端的osd节点停止osd相关进程

[root@ceph144 ~]# ps -ef | grep ceph
root       12299       1  0 16:48 ?        00:00:00 /usr/bin/python2.7 /usr/bin/ceph-crash
ceph       12665       1  0 16:50 ?        00:00:05 /usr/bin/ceph-osd -f --cluster ceph --id 7 --setuser ceph --setgroup ceph
ceph       13111       1  0 16:51 ?        00:00:05 /usr/bin/ceph-osd -f --cluster ceph --id 8 --setuser ceph --setgroup ceph
root       13242   12245  0 17:00 pts/1    00:00:00 grep --color=auto ceph
[root@ceph144 ~]# 
[root@ceph144 ~]# 
[root@ceph144 ~]# systemctl disable --now ceph-osd@7
[root@ceph144 ~]# 
[root@ceph144 ~]# systemctl disable --now ceph-osd@8
[root@ceph144 ~]# 
[root@ceph144 ~]# ps -ef | grep ceph
root       12299       1  0 16:48 ?        00:00:00 /usr/bin/python2.7 /usr/bin/ceph-crash
root       13293   12245  0 17:00 pts/1    00:00:00 grep --color=auto ceph
[root@ceph144 ~]#


        

          
        

        
        

          

          AI 代码解读

5.服务端再次查看OSD状态

[root@ceph141 ~]# ceph osd tree
ID CLASS WEIGHT  TYPE NAME        STATUS REWEIGHT PRI-AFF 
-1       2.92978 root default                             
-3       0.48830     host ceph141                         
 0   hdd 0.19530         osd.0        up  1.00000 1.00000 
 1   hdd 0.29300         osd.1        up  1.00000 1.00000 
-5       0.97659     host ceph142                         
 2   hdd 0.19530         osd.2        up  1.00000 1.00000 
 3   hdd 0.29300         osd.3        up  1.00000 1.00000 
 4   hdd 0.48830         osd.4        up  1.00000 1.00000 
-7       0.48830     host ceph143                         
 5   hdd 0.19530         osd.5        up  1.00000 1.00000 
 6   hdd 0.29300         osd.6        up  1.00000 1.00000 
-9       0.97659     host ceph144                         
 7   hdd 0.48830         osd.7      down        0 1.00000 
 8   hdd 0.48830         osd.8      down        0 1.00000 
[root@ceph141 ~]#


        

          
        

        
        

          

          AI 代码解读

6.在管理节点删除osd

    1 删除osd认证密钥
[root@ceph141 ~]# ceph auth del osd.7
updated
[root@ceph141 ~]# 
[root@ceph141 ~]# ceph auth del osd.8
updated
[root@ceph141 ~]# 

    2 删除osd，注意观察osd的状态为DNE
[root@ceph141 ~]# ceph osd rm 7
removed osd.7
[root@ceph141 ~]# 
[root@ceph141 ~]# ceph osd rm 8
removed osd.8
[root@ceph141 ~]# 
[root@ceph141 ~]# ceph osd tree
ID CLASS WEIGHT  TYPE NAME        STATUS REWEIGHT PRI-AFF 
-1       2.92978 root default                             
-3       0.48830     host ceph141                         
 0   hdd 0.19530         osd.0        up  1.00000 1.00000 
 1   hdd 0.29300         osd.1        up  1.00000 1.00000 
-5       0.97659     host ceph142                         
 2   hdd 0.19530         osd.2        up  1.00000 1.00000 
 3   hdd 0.29300         osd.3        up  1.00000 1.00000 
 4   hdd 0.48830         osd.4        up  1.00000 1.00000 
-7       0.48830     host ceph143                         
 5   hdd 0.19530         osd.5        up  1.00000 1.00000 
 6   hdd 0.29300         osd.6        up  1.00000 1.00000 
-9       0.97659     host ceph144                         
 7   hdd 0.48830         osd.7       DNE        0         
 8   hdd 0.48830         osd.8       DNE        0         
[root@ceph141 ~]#


        

          
        

        
        

          

          AI 代码解读

7.客户端解除ceph对磁盘的占用

[root@ceph144 ~]# lsblk 
NAME                                                                                                MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda                                                                                                   8:0    0   20G  0 disk 
├─sda1                                                                                                8:1    0    1G  0 part /boot
└─sda2                                                                                                8:2    0   19G  0 part 
  ├─centos-root                                                                                     253:0    0   17G  0 lvm  /
  └─centos-swap                                                                                     253:1    0    2G  0 lvm  [SWAP]
sdb                                                                                                   8:16   0  500G  0 disk 
└─ceph--c7502f61--dc1f--4e2a--b2e2--149810ab3351-osd--block--ec3ba06b--cacf--4392--820e--155c3b0b675d
                                                                                                    253:2    0  500G  0 lvm  
sdc                                                                                                   8:32   0  500G  0 disk 
└─ceph--89678d7b--d0a0--49ed--87ba--341b254508ba-osd--block--1b134e65--ef8b--4464--932e--14bb23ebfc4e
                                                                                                    253:3    0  500G  0 lvm  
sr0                                                                                                  11:0    1  4.5G  0 rom  
[root@ceph144 ~]# 
[root@ceph144 ~]# dmsetup status
ceph--89678d7b--d0a0--49ed--87ba--341b254508ba-osd--block--1b134e65--ef8b--4464--932e--14bb23ebfc4e: 0 1048567808 linear 
centos-swap: 0 4194304 linear 
centos-root: 0 35643392 linear 
ceph--c7502f61--dc1f--4e2a--b2e2--149810ab3351-osd--block--ec3ba06b--cacf--4392--820e--155c3b0b675d: 0 1048567808 linear 
[root@ceph144 ~]# 
[root@ceph144 ~]# dmsetup remove ceph--89678d7b--d0a0--49ed--87ba--341b254508ba-osd--block--1b134e65--ef8b--4464--932e--14bb23ebfc4e
[root@ceph144 ~]# 
[root@ceph144 ~]# dmsetup remove ceph--c7502f61--dc1f--4e2a--b2e2--149810ab3351-osd--block--ec3ba06b--cacf--4392--820e--155c3b0b675d
[root@ceph144 ~]# 
[root@ceph144 ~]# lsblk 
NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda               8:0    0   20G  0 disk 
├─sda1            8:1    0    1G  0 part /boot
└─sda2            8:2    0   19G  0 part 
  ├─centos-root 253:0    0   17G  0 lvm  /
  └─centos-swap 253:1    0    2G  0 lvm  [SWAP]
sdb               8:16   0  500G  0 disk 
sdc               8:32   0  500G  0 disk 
sr0              11:0    1  4.5G  0 rom  
[root@ceph144 ~]#


        

          
        

        
        

          

          AI 代码解读

8.管理端清除osd的DNE状态，从crush中移除

[root@ceph141 ~]# ceph osd tree
ID CLASS WEIGHT  TYPE NAME        STATUS REWEIGHT PRI-AFF 
-1       2.92978 root default                             
-3       0.48830     host ceph141                         
 0   hdd 0.19530         osd.0        up  1.00000 1.00000 
 1   hdd 0.29300         osd.1        up  1.00000 1.00000 
-5       0.97659     host ceph142                         
 2   hdd 0.19530         osd.2        up  1.00000 1.00000 
 3   hdd 0.29300         osd.3        up  1.00000 1.00000 
 4   hdd 0.48830         osd.4        up  1.00000 1.00000 
-7       0.48830     host ceph143                         
 5   hdd 0.19530         osd.5        up  1.00000 1.00000 
 6   hdd 0.29300         osd.6        up  1.00000 1.00000 
-9       0.97659     host ceph144                         
 7   hdd 0.48830         osd.7       DNE        0         
 8   hdd 0.48830         osd.8       DNE        0         
[root@ceph141 ~]# 
[root@ceph141 ~]# ceph osd crush remove osd.7
removed item id 7 name 'osd.7' from crush map
[root@ceph141 ~]# 
[root@ceph141 ~]# ceph osd crush remove osd.8
removed item id 8 name 'osd.8' from crush map
[root@ceph141 ~]# 
[root@ceph141 ~]# ceph osd tree
ID CLASS WEIGHT  TYPE NAME        STATUS REWEIGHT PRI-AFF 
-1       1.95319 root default                             
-3       0.48830     host ceph141                         
 0   hdd 0.19530         osd.0        up  1.00000 1.00000 
 1   hdd 0.29300         osd.1        up  1.00000 1.00000 
-5       0.97659     host ceph142                         
 2   hdd 0.19530         osd.2        up  1.00000 1.00000 
 3   hdd 0.29300         osd.3        up  1.00000 1.00000 
 4   hdd 0.48830         osd.4        up  1.00000 1.00000 
-7       0.48830     host ceph143                         
 5   hdd 0.19530         osd.5        up  1.00000 1.00000 
 6   hdd 0.29300         osd.6        up  1.00000 1.00000 
-9             0     host ceph144                         
[root@ceph141 ~]#


        

          
        

        
        

          

          AI 代码解读

9.管理端移除主机

[root@ceph141 ~]# ceph osd tree
ID CLASS WEIGHT  TYPE NAME        STATUS REWEIGHT PRI-AFF 
-1       1.95319 root default                             
-3       0.48830     host ceph141                         
 0   hdd 0.19530         osd.0        up  1.00000 1.00000 
 1   hdd 0.29300         osd.1        up  1.00000 1.00000 
-5       0.97659     host ceph142                         
 2   hdd 0.19530         osd.2        up  1.00000 1.00000 
 3   hdd 0.29300         osd.3        up  1.00000 1.00000 
 4   hdd 0.48830         osd.4        up  1.00000 1.00000 
-7       0.48830     host ceph143                         
 5   hdd 0.19530         osd.5        up  1.00000 1.00000 
 6   hdd 0.29300         osd.6        up  1.00000 1.00000 
-9             0     host ceph144                         
[root@ceph141 ~]#  
[root@ceph141 ~]# ceph osd crush remove ceph144
removed item id -9 name 'ceph144' from crush map
[root@ceph141 ~]# 
[root@ceph141 ~]# ceph osd tree
ID CLASS WEIGHT  TYPE NAME        STATUS REWEIGHT PRI-AFF 
-1       1.95319 root default                             
-3       0.48830     host ceph141                         
 0   hdd 0.19530         osd.0        up  1.00000 1.00000 
 1   hdd 0.29300         osd.1        up  1.00000 1.00000 
-5       0.97659     host ceph142                         
 2   hdd 0.19530         osd.2        up  1.00000 1.00000 
 3   hdd 0.29300         osd.3        up  1.00000 1.00000 
 4   hdd 0.48830         osd.4        up  1.00000 1.00000 
-7       0.48830     host ceph143                         
 5   hdd 0.19530         osd.5        up  1.00000 1.00000 
 6   hdd 0.29300         osd.6        up  1.00000 1.00000 
[root@ceph141 ~]#


        

          
        

        
        

          

          AI 代码解读

10.验证集群状态，发现集群数据缩容成功

[root@ceph141 ~]# ceph -s
  cluster:
    id:     5821e29c-326d-434d-a5b6-c492527eeaad
    health: HEALTH_OK

  services:
    mon: 3 daemons, quorum ceph141,ceph142,ceph143 (age 23h)
    mgr: ceph141(active, since 22h), standbys: ceph143, ceph142
    osd: 7 osds: 7 up (since 6m), 7 in (since 8m)

  data:
    pools:   3 pools, 96 pgs
    objects: 74 objects, 114 MiB
    usage:   7.8 GiB used, 1.9 TiB / 2.0 TiB avail
    pgs:     96 active+clean

[root@ceph141 ~]#


        

          
        

        
        

          

          AI 代码解读
文章标签：
块存储
尹正杰
+关注
294文章
目录
打赏
0
4
4
0
178
分享
相关文章
尹正杰
|
10月前
|
存储 关系型数据库 文件存储
Ubuntu22.04LTS基于cephadm快速部署Ceph Reef(18.2.X)集群
这篇文章是关于如何在Ubuntu 22.04LTS上使用cephadm工具快速部署Ceph Reef(18.2.X)存储集群的详细教程，包括ceph的基本概念、集群的搭建步骤、集群管理以及测试集群可用性等内容。
尹正杰
2519 8
Ubuntu22.04LTS基于cephadm快速部署Ceph Reef(18.2.X)集群
尹正杰
|
10月前
|
存储 块存储
Ceph Reef(18.2.X)集群的OSD管理基础及OSD节点扩缩容
这篇文章是关于Ceph Reef(18.2.X)集群的OSD管理基础及OSD节点扩缩容的详细教程，涵盖了OSD的基础操作、节点缩容的步骤和实战案例以及OSD节点扩容的基本流程和实战案例。
尹正杰
413 6
blackpiglet
|
存储 关系型数据库 块存储
Ceph 磁盘损坏现象和解决方法
Damaged disks 对于存储系统，磁盘是消耗品，损坏是很常见的，所以这篇文章记录一下 Ceph 中出现磁盘损坏时的现象，以及如何定位和更换损坏的磁盘。
blackpiglet
2331 0
尹正杰
|
10月前
|
Prometheus 监控 Cloud Native
prometheus监控ceph集群环境
文章介绍了如何使用Prometheus监控Ceph集群环境，包括启用Prometheus模块、验证模块启用成功、访问Ceph的exporter、修改Prometheus配置文件、热加载配置，以及Grafana采集数据的方法。同时，还涵盖了监控Ceph集群宿主机的步骤，如在所有节点安装node-exporter、修改Prometheus配置文件、热加载配置，以及Grafana采集数据。
尹正杰
357 6
尹正杰
|
10月前
|
存储
Ceph Reef(18.2.X)的CephFS高可用集群实战案例
这篇文章是关于Ceph Reef(18.2.X)版本中CephFS高可用集群的实战案例，涵盖了CephFS的基础知识、一主一从架构的搭建、多主一从架构的配置、客户端挂载方式以及fuse方式访问CephFS的详细步骤和配置。
尹正杰
272 3
Ceph Reef(18.2.X)的CephFS高可用集群实战案例
尹正杰
|
10月前
|
块存储
cephx认证及启用和禁用实战
这篇文章介绍了如何在Ceph集群中禁用和启用cephx认证协议，包括修改配置文件、重启服务以及验证配置更改的效果。
尹正杰
171 3
cephx认证及启用和禁用实战
尹正杰
|
10月前
|
存储 算法 固态存储
CRUSH映射图及自定义规则实战篇
Ceph存储系统中CRUSH映射图及自定义规则的实战教程，涵盖了PG与OSD映射调整、CRUSH运行图修改案例以及CRUSH数据分类管理等内容。
尹正杰
186 1
尹正杰
|
10月前
|
存储 关系型数据库 块存储
Ceph Reef(18.2.X)集群的状态管理实战
这篇文章是关于Ceph Reef(18.2.X)集群的状态管理实战，包括如何检查集群状态、OSD状态、MON监视器映射、PG和OSD存储对应关系，以及如何通过套接字管理集群和修改集群配置的详细指南。
尹正杰
223 4
shudiFu
|
12月前
|
存储 关系型数据库 算法框架/工具
Ceph 架构以及部署
Ceph 架构以及部署
shudiFu
418 26
尹正杰
|
10月前
|
存储 对象存储
Ceph Reef(18.2.X)的对象存储网关(rgw)组件搭建
这篇文章是关于Ceph Reef(18.2.X)版本中对象存储系统的配置和使用案例，包括对象存储网关的概述、核心资源介绍、Ceph RGW支持的接口、高可用radosgw的部署、s3cmd工具的使用以及如何通过HTTP方式访问对象存储。
尹正杰
463 3
Ceph Reef(18.2.X)的对象存储网关(rgw)组件搭建

热门文章

最新文章

  • 1
    Hologres助力AliExpress双11实时数仓升级
    9
  • 2
    pytorch安装GPU版本 (Cuda12.1)教程: Windows、Mac和Linux系统下GPU版PyTorch（CUDA 12.1）快速安装
    114
  • 3
    java----包的命名规范
    18
  • 4
    Eclipse 插件市场安装 Cloud Toolkit
    6
  • 5
    filebeat多版本for Windows7
    2
  • 6
    云计算的云医疗信息系统（云HIS) 前端Angular语言,后端Java语言开发
    4
  • 7
    今晚19：00！淘系【云+端】开源产品线上发布会
    2
  • 8
    一元云购CMS微信分享打不开解决办法
    1
  • 9
    第5章 原型模式（Protype Pattern）
    815
  • 10
    字符串"2013/5/18 0:00:00”不是有效的 AllXsd 值
    1
  • 1
    多智能体协作平台（MCP）实现多供应商AI生态系统中的互操作性
    30
  • 2
    MyBatis场景面试题
    17
  • 3
    基于Reactor模式的高性能网络库之缓冲区Buffer组件
    16
  • 4
    Anthropic Cookbook：开发者可以参考的Claude AI高效开发指南
    27
  • 5
    咱们写Prompt的姿势，是不是该换换了？
    34
  • 6
    单细胞分析: Scanpy 核心绘图 (1)
    28
  • 7
    抖音批量发布作品视频工具， 自媒体批量发布工具，抖音自动上传发布视频软件
    36
  • 8
    微信机器人自动回复插件，vx自动回复机器人脚本助手，python框架分享
    39
  • 9
    springboot项目集成dolphinscheduler调度器 实现datax数据同步任务
    25
  • 10
    企业微信自动回复软件，企业微信自动回复机器人，python框架分享
    25

    • 相关电子书

    更多
  • 低代码开发师（初级）实战教程
  • 冬季实战营第三期：MySQL数据库进阶实战
  • 阿里巴巴DevOps 最佳实践手册
    • 下一篇
    阿里云OSS实战从入门到大神
    目录
    AI助理

    你好，我是AI助理

    可以解答问题、推荐解决方案等

    登录插画

    登录以查看您的控制台资源

    管理云资源
    状态一览
    快捷访问
    快捷注册登录阿里云