AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

RH236配置IP故障转移--CTDB

2022-04-15 906
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
文件存储 NAS，50GB 3个月
简介： RH236配置IP故障转移--CTDB

RH236配置IP故障转移–CTDB

本章节介绍如何配置IP故障转移。本章节学习CTDB，主要是为了解决NFS和Samba的高可用问题。

RHCA专栏地址：https://blog.csdn.net/qq_41765918/category_11532281.html

文章目录

高可用集群NAS（此小节摘自刘爱贵教授文章）

诸如Glusterfs、Lustre、Ceph等集群文件系统，提供了统一命名空间、高性能、高可用、高扩展的非结构化数据解决方案。出于性能方面考虑，集群文件系统都设计了私有协议的客户端，通常是基于VFS或FUSE接口实现的与POSIX标准兼容的接口，但往往仅提供Linux/Unix系统客户端软件。对于Linux/Unix系统来说，只需要安装集群文件系统客户端内核模块或软件即可；而对于Windows/Mac等系统而言，因为没有客户端软件可用，就没法访问集群文件系统了。另外，一些特殊场合下，用户不希望在Linux/Unix/Windows/Mac系统上安装客户端软件，而是希望通过标准协议访问集群文件系统。因此，我们需要以集群文件系统为底层基础核心，构建使用标准协议访问的存储服务，目前主要就是使用NFS/CIFS标准协议的NAS。传统NAS系统具有单点性能瓶颈、扩展性差、应用规模和高负载支持有限等不足，无法满足大数据应用需求。集群NAS是一种横向扩展（Scale-out）存储架构，它协同多个节点（即通常所称的NAS机头）提供高性能、高可用或高负载均衡的NAS（NFS/CIFS）服务，具有容量和性能线性扩展的优势。

这里我们基于CTDB实现高可用集群NAS。CTDB是一种轻量级的集群数据库实现，基于它可以实现很多应用集群，目前CTDB支持Samba, NFS, HTTPD, VSFTPD, ISCSI, WINBIND应用，集群共享数据存储支持GPFS,GFS(2),Glusterfs, Luster, OCFS(2)。CTDB本身不是HA解决方案，但与集群文件系统相结合，它可以提供一种简便高效的HA集群解决方案。集群配置两组IP，Private IP用于heartbeat和集群内部通信，Public IP用于提供外部服务访问。Public IP动态在所有集群节点上分配，当有节点发生故障，CTDB将调度其他可用节点接管其原先分配的Public IP，故障节点恢复后，漂移的Public IP会重新被接管。这个过程对客户端是透明的，保证应用不会中断，也就是我们这里所说的高可用HA。

CTDB

cluster trivial database

针对客户端nfs、samba挂载时，实现IP failover，比如：挂载时指定的主机宕机了，实现自动切换。

glusterfs自身已经实现，所以不需要CTDB，CTDB是为了解决NFS和Samba的高可用问题。

**注意：**CTDB，要求所有节点的的主机名必须能解析

IP Failover原理类似于双网卡的bond、应用的负载IP。

1）通过ctdb实现vip访问卷

2）vip访问卷的方式：不适合分布式，只适用于复制式

3）在分布式环境中测试，同时创建多个文件时，由于glusterfs volume中故障节点的目录未删除，依然会往故障节点分布数据，然而节点已经故障无法写入，这时会报错，数据丢失。

配置ctdb

1. 装包

# yum install -y ctdb
#在所有节点安装ctdb
#装完包，配置文件在：/etc/ctdb/

2. 新建一个复制卷

作用：配置一个100M左右的小型复制卷，在卷内会生成一个0字节的锁文件，对虚拟IP进行锁定

# gluster volume create ctdb replica 3 \ 
node1:/brick/brick8/brick \ 
node2:/brick/brick8/brick \ 
node3:/brick/brick8/brick

#注意：这里先不要启动这个volume

3. 修改脚本

在这个volume启动之前，关闭之后，需要分别执行以下两个脚本：

/var/lib/glusterd/hooks/1/start/post/S29CTDBsetup.sh

/var/lib/glusterd/hooks/1/stop/pre/S29CTDB-teardown.sh

需要在所有节点作以下更改：

# vim /var/lib/glusterd/hooks/1/start/post/S29CTDBsetup.sh
META=ctdb   # 根据情况也可以写all，所有的卷

#默认，这个脚本，会在所有volume启动之前执行，这里指定只有ctdb这个volume启动的之前才执行

脚本执行的操作：

1）先挂载META这个变量指定的volume到本地的/gluster/lock（默认）目录

2）再在/etc/fstab写自动挂载条目

3）最后设置开机自启ctdb

# vim /var/lib/glusterd/hooks/1/stop/pre/S29CTDB-teardown.sh 
META=ctdb  # 根据情况也可以写all，所有的卷

4. 启动volume

# gluster volume start ctdb
#启动volume

5. 确认挂载

启动之后，在所有相关节点，确认上面start脚本所执行的动作已完成

# df -Th
node1:ctdb fuse.glusterfs 1021M   33M  988M   4% /gluster/lock
cat /etc/fstab
node1:/ctdb /gluster/lock glusterfs _netdev,defaults,transport=tcp,xlator-option=*client*.ping-timeout=10 0 0

注意：

1.必须所有相关节点都已经挂载，才可实现ip failover

2.如果没有挂载，在有问题节点检查上面的配置，然后先stop volume，再start volume

6. 配置虚拟IP

在所有使用NFS服务的节点创建/etc/ctdb/nodes文件，并在里面添加这些节点的IP到这个文件

# vim /etc/ctdb/nodes 
192.168.1.100 
192.168.1.101 
192.168.1.102 
192.168.1.103 
# scp /etc/ctdb/nodes root@node2:/etc/ctdb/ 
# scp /etc/ctdb/nodes root@node3:/etc/ctdb/ 
# scp /etc/ctdb/nodes root@node4:/etc/ctdb/

在所有需要做IP failover的NFS节点，创建/etc/ctdb/public_addresses这个文件，并在里面添加虚拟IP到这个文件，并指定这个IP附加到哪个网卡

# vim /etc/ctdb/public_addresses 
192.168.1.20/24 eth0 
# scp /etc/ctdb/public_addresses root@node2:/etc/ctdb
# scp /etc/ctdb/public_addresses root@node3:/etc/ctdb 
# scp /etc/ctdb/public_addresses root@node4:/etc/ctdb

7. 配置Samba

CTDB会管理samba服务，所以需要提前配置samba的配置文档，亦无需启动samba，此操作需要配置在所有节点中配置（若是先启动了ctdb，则创建密码的操作只需要在一个节点上执行，因为ctdb将此更改传播到所有节点），配置过程如下：

# useradd samba
# pdbedit -a -u samba 
或者 smbpasswd -a samba
# vim /etc/samba/smb.conf 
[global] 
clustering=yes 
idmap backend = tdb2 
private dir = /gluster/lock
# systemctl restart smb

8. 配置glusterfs

修改卷属性：
# gluster volume set ctdb stat-prefetch off 
# gluster volume set ctdb server.allow-insecure on 
# gluster volume set ctdb storage.batch-fsync-delay-usec 0

修改glusterfs服务属性：
# vim /etc/glusterfs/glusterd.vol 
option rpc-auth-allow-insecure on 

修改完后重启服务：
# systemctl restart glusterd

9. 配置ctdb（需要时）

在/etc/sysconfig/ctdb增加如下配置：

# vim /etc/sysconfig/ctdb 
CTDB_RECOVERY_LOCK=/gluster/lock/lockfile 
CTDB_PUBLIC_INTERFACE=eth0 
CTDB_PUBLIC_ADDRESSES=/etc/ctdb/public_addresses 
CTDB_MANAGES_SAMBA=yes 
CTDB_SAMBA_SKIP_SHARE_CHECK=yes 
CTDB_MANAGES_NFS=no 
CTDB_MANAGES_WINBIND=no 
CTDB_NODES=/etc/ctdb/nodes 
CTDB_DEBUGLEVEL=ERR

若需要开通NFS服务，设置CTDB_MANAGES_NFS=yes即可

10. 启动ctdb服务

在所有节点启动ctdb服务

# systemctl start ctdb

客户端访问

注意：这时应该用虚拟IP挂载

NFS：

# mount -t nfs 192.168.1.20:/vol1 /mnt/vol1

Samba：

# yum install -y samba-client cifs-utils

# smbclient -L 192.168.1.20 -U samba

# mount -t cifs -o username=samba,password=redhat //192.168.1.20/gluster-vol1 /mnt/vol1

查看ctdb状态

可以使用命令查看CTDB集群的状态：

# ctdb status

# ctdb ip

# ctdb ping -n all

课本练习

[root@workstation ~]# lab ctdb setup 
Setting up  for lab exercise work:

 • Testing if all hosts are reachable..........................  SUCCESS
 • Adding glusterfs to runtime firewall on servera.............  SUCCESS
 • Adding glusterfs to permanent firewall on servera...........  SUCCESS
 • Adding glusterfs to runtime firewall on serverb.............  SUCCESS
 • Adding glusterfs to permanent firewall on serverb...........  SUCCESS
 • Adding servera to trusted storage pool......................  SUCCESS
 • Adding serverb to trusted storage pool......................  SUCCESS
 • Ensuring thin LVM pool vg_bricks/thinpool exists on servera.  SUCCESS
…………

1. 在servera和serverb上安装所需的软件，并在这些机器上的防火墙上打开此设置所需的任何端口。

# yum -y install samba ctdb
# firewall-cmd --add-service=samba --permanent 
# firewall-cmd --add-port=4379/tcp --permanent 
# firewall-cmd --reload

2. 停止ctdbmeta卷，然后在servera和serverb上设置相关的启动和停止触发，以便为CTDB使用ctdbmeta卷。还为两个节点上的Samba启用集群。

[root@servera ~]# gluster volume stop ctdbmeta 
Stopping volume will make its data inaccessible. Do you want to continue? (y/n) y
volume stop: ctdbmeta: success

vim /var/lib/glusterd/hooks/1/start/post/S29CTDBsetup.sh
# $META is the volume that will be used by CTDB as a shared filesystem.
# It is not desirable to use this volume for storing 'data' as well.
# META is set to 'all' (viz. a keyword and hence not a legal volume name)
# to prevent the script from running for volumes it was not intended.
# User needs to set META to the volume that serves CTDB lockfile.
META=ctdbmeta

vim /var/lib/glusterd/hooks/1/stop/pre/S29CTDB-teardown.sh
# $META is the volume that will be used by CTDB as a shared filesystem.
# It is not desirable to use this volume for storing 'data' as well.
# META is set to 'all' (viz. a keyword and hence not a legal volume name)
# to prevent the script from running for volumes it was not intended.
# User needs to set META to the volume that serves CTDB lockfile.
META=ctdbmeta

添加clustering = yes 配置
# grep clustering -C 2 /etc/samba/smb.conf 

[global]
clustering=yes
#------------------------ AIO Settings ------------------------
#

3. 启动ctdbmeta卷，然后配置CTDB以使用servera和serverb系统进行IP故障转移，使用172.25.250.15/24作为浮动IP地址。

[root@servera ~]# gluster volume start ctdbmeta 
volume start: ctdbmeta: success

# vim /etc/ctdb/nodes
# cat /etc/ctdb/nodes 
172.25.250.10
172.25.250.11
# vim /etc/ctdb/public_addresses
# cat /etc/ctdb/public_addresses 
172.25.250.15/24 eth0
# systemctl enable ctdb
# systemctl start ctdb

4. 确保使用Samba导出custdata卷。记住为smbuser用户设置一个redhat Samba密码。

将smbuser的samba密码设置为redhat。因为ctdb将此更改传播到所有节点，所以此步骤只需要在单个主机上执行。

# smbpasswd -a smbuser
New SMB password: redhat
Retype new SMB password: redhat
Added user smbuser.

# gluster volume set custdata stat-prefetch off
# gluster volume set custdata server.allow-insecure on
# gluster volume set custdata storage.batch-fsync-delay-usec 0

servera和serverb都需要更改：
# vim /etc/glusterfs/glusterd.vol
    option rpc-auth-allow-insecure on
# systemctl restart glusterd

[root@servera ~]# gluster volume stop custdata 
Stopping volume will make its data inaccessible. Do you want to continue? (y/n) y
volume stop: custdata: success
[root@servera ~]# gluster volume start custdata
volume start: custdata: success

5. 在您的workstation系统上，使用Samba通过浮动IP地址在/mnt/custdata上持久地挂载custdata卷。

[root@workstation ~]# mkdir /mnt/custdata
[root@workstation ~]# echo "//172.25.250.15/gluster-custdata /mnt/custdata cifs user=smbuser,pass=redhat 0 0" >> /etc/fstab
[root@workstation ~]# mount -a
[root@workstation ~]# df -TH
Filesystem                       Type      Size  Used Avail Use% Mounted on
/dev/vda1                        xfs        11G  3.3G  7.6G  31% /
devtmpfs                         devtmpfs  946M     0  946M   0% /dev
tmpfs                            tmpfs     965M   87k  965M   1% /dev/shm
tmpfs                            tmpfs     965M   18M  948M   2% /run
tmpfs                            tmpfs     965M     0  965M   0% /sys/fs/cgroup
tmpfs                            tmpfs     193M   17k  193M   1% /run/user/42
tmpfs                            tmpfs     193M     0  193M   0% /run/user/0
//172.25.250.15/gluster-custdata cifs      2.2G   35M  2.2G   2% /mnt/custdata

6. 模拟故障。

通过在/mnt/custdata中创建一些文件来测试你的IP故障转移，关闭当前分配了浮动IP的主机，然后在/mnt/custdata中创建更多的文件。不要忘记启动你关闭电源的机器。

[root@workstation ~]# touch /mnt/custdata/file{00..49}

[root@servera ~]# ctdb ip -n all
Public IPs on ALL nodes
172.25.250.15 1
[root@servera ~]# ctdb status
Number of nodes:2
pnn:0 172.25.250.10    OK (THIS NODE)
pnn:1 172.25.250.11    OK
Generation:1156537640
Size:2
hash:0 lmaster:0
hash:1 lmaster:1
Recovery mode:NORMAL (0)
Recovery master:0

[root@serverb ~]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN 
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 52:54:00:00:fa:0b brd ff:ff:ff:ff:ff:ff
    inet 172.25.250.11/24 brd 172.25.250.255 scope global eth0
       valid_lft forever preferred_lft forever
    inet 172.25.250.15/24 brd 172.25.250.255 scope global secondary eth0
       valid_lft forever preferred_lft forever
    inet6 fe80::5054:ff:fe00:fa0b/64 scope link 
       valid_lft forever preferred_lft forever
3: bond0: <BROADCAST,MULTICAST,MASTER> mtu 1500 qdisc noop state DOWN 
    link/ether f2:1a:f8:73:6d:cf brd ff:ff:ff:ff:ff:ff
[root@serverb ~]# init 0
Connection to serverb closed by remote host.
Connection to serverb closed.

[root@workstation ~]# touch /mnt/custdata/file{50..99}

[root@foundation0 ~]# rht-vmctl start serverb
Starting serverb.

7. 查看日志。

# tail -f /var/log/log.ctdb -n 1000 
…………
2020/12/05 21:19:36.151950 [recoverd: 3641]: Resetting ban count to 0 for all nodes
2020/12/05 21:19:49.906734 [ 3491]: 50.samba: Redirecting to /bin/systemctl start  smb.service
2020/12/05 21:19:50.179897 [recoverd: 3641]: Trigger takeoverrun
2020/12/05 21:19:52.352823 [ 3491]: Node became HEALTHY. Ask recovery master 0 to perform ip reallocation
2020/12/05 21:37:51.497398 [recoverd: 3641]: ../ctdb/server/ctdb_recoverd.c:3973 The vnnmap count is different from the number of active lmaster nodes: 2 vs 1
2020/12/05 21:37:51.497495 [recoverd: 3641]: Taking out recovery lock from recovery daemon
2020/12/05 21:37:51.497500 [recoverd: 3641]: Take the recovery lock
2020/12/05 21:38:06.547795 [ 3491]: High RECLOCK latency 15.050065s for operation recd reclock
2020/12/05 21:38:06.551899 [ 3491]: Freeze priority 1
…………

8. 脚本评分

[root@workstation ~]# lab ctdb grade

总结

  • 介绍如何配置CTDB。

  • 介绍如何对NFS和Samba进行客户端配置。

以上就是【金鱼哥】的分享。希望能对看到此文章的小伙伴有所帮助。

如果这篇【文章】有帮助到你，希望可以给【金鱼哥】点个赞👍，创作不易，相比官方的陈述，我更喜欢用【通俗易懂】的文笔去讲解每一个知识点，如果有对【运维技术】感兴趣，也欢迎关注❤️❤️❤️ 【金鱼哥】❤️❤️❤️，我将会给你带来巨大的【收获与惊喜】💕💕！

文章标签：
文件存储 NAS
运维
Linux
Unix
Windows
负载均衡
数据安全/隐私保护
文件存储
数据库
调度
存储
相关实践学习
基于ECS和NAS搭建个人网盘
本场景主要介绍如何基于ECS和NAS快速搭建个人网盘。
阿里云文件存储 NAS 使用教程
阿里云文件存储（Network Attached Storage，简称NAS）是面向阿里云ECS实例、HPC和Docker的文件存储服务，提供标准的文件访问协议，用户无需对现有应用做任何修改，即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布式文件系统。 产品详情：https://www.aliyun.com/product/nas
金鱼哥
目录
相关文章
蓝色流星1000
|
2月前
|
负载均衡 网络协议 Unix
Nginx负载均衡与故障转移实践
Nginx通过ngx_http_upstream_module模块实现负载均衡与故障转移，适用于多服务器环境。利用`upstream`与`server`指令定义后端服务器组，通过`proxy_pass`将请求代理至这些服务器，实现请求分发。Nginx还提供了多种负载均衡策略，如轮询、权重分配、IP哈希等，并支持自定义故障转移逻辑，确保系统稳定性和高可用性。示例配置展示了如何定义负载均衡设备及状态，并应用到具体server配置中。
蓝色流星1000
150 6
kaixin321-44007
|
3月前
|
运维 监控 定位技术
故障转移和自动恢复
故障转移和自动恢复
kaixin321-44007
120 1
wljslmz
|
3月前
|
存储 缓存 运维
无状态故障转移与有状态故障转移
【8月更文挑战第24天】
wljslmz
35 0
warmhearted
|
4月前
|
消息中间件 运维 监控
中间件故障转移主-备配置
【7月更文挑战第25天】
warmhearted
39 2
warmhearted
|
4月前
|
运维 监控 Kubernetes
中间件故障转移自动切换
【7月更文挑战第25天】
warmhearted
41 2
一只牛博
|
5月前
|
运维 负载均衡 监控
解析ProxySQL的故障转移机制
解析ProxySQL的故障转移机制
一只牛博
187 0
一只牛博
|
5月前
|
负载均衡 算法 应用服务中间件
解密Nginx负载均衡：实现流量分发与故障转移
解密Nginx负载均衡：实现流量分发与故障转移
一只牛博
171 0
季风泯灭的季节
|
6月前
|
运维 监控 网络协议
heatbeat各种场景的备用配置
heatbeat各种场景的备用配置
季风泯灭的季节
73 0
金鱼哥
|
存储 运维 网络协议
RH236配置IP故障转移--配置NFS Ganesha
RH236配置IP故障转移--配置NFS Ganesha
金鱼哥
393 0
RH236配置IP故障转移--配置NFS Ganesha
裴旻
|
监控 NoSQL 关系型数据库
先于用户发现服务故障-内网可用性监控
裴旻
2855 0