linux下搭建HA高可用集群

简介:

HA 即 (high available)高可用,又被叫做双机热备,用于关键性业务。 简单理解就是,有两台机器A和B,正常是A提供服务,B待命闲置,当A宕机或服务宕掉,会切换至B机器继续提供服务。常用实现高可用的开源软件有heartbeat和keepalived,其中keepalived有负载均衡的功能。


下面我们使用heartbeat来做HA集群,并且把nginx服务作为HA对应的服务。

试验准备工作:

两台机器,都是centos6.6,各增加一块网卡eth1,使用主机模式连接vmnet1,并设定为192.168.11.0网段;eth0为NAT模式,网段为192.168.20.0网段;

spacer.gifwKiom1VwDyWQlN76AAJC6vGAx1I551.jpg

开机启动后,拷贝ifcfg-eth0 到 ifcfg-eth1,修改DEVICE为eth1,ip地址设为:192.168.11.20

1
2
3
4
5
6
7
8
9
# cd /etc/sysconfig/network-scripts/
# cp ifcfg-eth0 ifcfg-eth1
# cat ifcfg-eth1
DEVICE=eth1
TYPE=Ethernet
ONBOOT= yes
NM_CONTROLLED= yes
BOOTPROTO=static
IPADDR=192.168.11.20

设置完成后,重启网卡,ifconfig查看eth0、eth1的ip地址;

1
2
# /etc/init.d/network restart
#ifconfig

主机的配置:

hostname hello

eth0:192.168.20.20

eth1:192.168.11.20


从机的配置:

hostname web

eth0:192.168.20.30

eth1:192.168.11.30


1、设置hostname,分别为hello和 web;

2、主从都需要关闭防火墙;关闭selinux;

1
2
3
# iptables -F
# setenforce 0
setenforce: SELinux is disabled

3、 vi /etc/hosts   //主从都需要增加内容如下:  

1
2
192.168.20.20 hello 
192.168.20.30 web

4、安装epel扩展源

1
# yum install -y epel-release

5、两个机器都安装heartbeat、libnet

1
#yum  install -y heartbeat*   libnet  nginx

nginx做代理服务;

6、主上(hello)配置

Heartbeat软件的安装目录为/etc/ha.d目录;

拷贝配置文件的模板到/etc/ha.d目录;

1
2
3
cd  /usr/share/doc/heartbeat-3 .0.4/
cp   authkeys  ha.cf haresources    /etc/ha .d/
cd  /etc/ha .d

vi  authkeys  //去掉前面的#号,或加入下面的内容:

1
2
auth 3
3 md5 Hello!

更改权限为600

1
chmod  600 authkeys

vi  haresources  //加入

1
hello 192.168.11.100 /24/eth1 :0 nginx

192.168.11.100 ip地址是流动ip,虚拟ip;用来绑定服务的;子网掩码为24位;使用eth1:0绑定虚拟ip,并运行nginx进行测试;

注意:两台主机的haresources文件设置必须完全一致。


vi  ha.cf   //更改为如下内容:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
debugfile  /var/log/ha-debug
logfile  /var/log/ha-log
logfacility     local0
keepalive 2
deadtime 30
warntime 10
initdead 60
udpport 694
ucast eth1 192.168.11.30
auto_failback on
node    hello
node    web
ping  192.168.11.1
respawn hacluster  /usr/lib/heartbeat/ipfail

7、把主上的三个配置拷贝到从上:

1
2
#cd /etc/ha.d/
#scp  authkeys  ha.cf haresources  web:/etc/ha.d/

8、从上(web) 只需要编辑ha.cf

vi  /etc/ha.d/ha.cf   //只需要更改一个地方

ucast eth1 192.168.11.30 改为   ucast eth1 192.168.11.20   

9、启动heartbeat

先主,后从

1
#service heartbeat start

10、检查测试

ifconfig 查看是否有 eth1:0 出现则说明主已经开始工作;

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
[root@yong ~] # ifconfig 
eth0      Link encap:Ethernet  HWaddr 00:0C:29:43:3D:32  
           inet addr:192.168.20.20  Bcast:192.168.20.255  Mask:255.255.255.0
           inet6 addr: fe80::20c:29ff:fe43:3d32 /64  Scope:Link
           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
           RX packets:433 errors:0 dropped:0 overruns:0 frame:0
           TX packets:429 errors:0 dropped:0 overruns:0 carrier:0
           collisions:0 txqueuelen:1000 
           RX bytes:37095 (36.2 KiB)  TX bytes:75381 (73.6 KiB)
           Interrupt:18 Base address:0x2000 
eth1      Link encap:Ethernet  HWaddr 00:0C:29:43:3D:3C  
           inet addr:192.168.11.20  Bcast:192.168.11.255  Mask:255.255.255.0
           inet6 addr: fe80::20c:29ff:fe43:3d3c /64  Scope:Link
           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
           RX packets:396 errors:0 dropped:0 overruns:0 frame:0
           TX packets:399 errors:0 dropped:0 overruns:0 carrier:0
           collisions:0 txqueuelen:1000 
           RX bytes:83641 (81.6 KiB)  TX bytes:89725 (87.6 KiB)
           Interrupt:18 Base address:0x2080 
           
eth1:0    Link encap:Ethernet  HWaddr 00:0C:29:43:3D:3C  
           inet addr:192.168.11.100  Bcast:192.168.11.255  Mask:255.255.255.0
           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
           Interrupt:18 Base address:0x2080 
           
lo        Link encap:Local Loopback  
           inet addr:127.0.0.1  Mask:255.0.0.0
           inet6 addr: ::1 /128  Scope:Host
           UP LOOPBACK RUNNING  MTU:65536  Metric:1
           RX packets:0 errors:0 dropped:0 overruns:0 frame:0
           TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
           collisions:0 txqueuelen:0 
           RX bytes:0 (0.0 b)  TX bytes:0 (0.0 b)

查看是否有nginx进程、heartbeat进程;

1
2
3
[root@yong ha.d] # ps aux |grep nginx
root      3731  0.0  0.1   5000   632 ?        Ss   10:52   0:00 nginx: master process  /usr/local/nginx/sbin/nginx  -c  /usr/local/nginx/conf/nginx .conf
nobody    3732  0.0  0.1   5200   984 ?        S    10:52   0:00 nginx: worker process
1
2
3
4
5
6
7
8
[root@yong ha.d] # ps aux |grep heartbeat
root      2765  0.3  1.3   6684  6676 ?        SLs  10:44   0:01 heartbeat: master control process
root      2770  0.0  1.2   6488  6480 ?        SL   10:44   0:00 heartbeat: FIFO reader  
root      2771  0.0  1.2   6484  6476 ?        SL   10:44   0:00 heartbeat: write: ucast eth1
root      2772  0.0  1.2   6484  6476 ?        SL   10:44   0:00 heartbeat:  read : ucast eth1 
root      2773  0.0  1.2   6484  6476 ?        SL   10:44   0:00 heartbeat: write:  ping  192.168.11.1
root      2774  0.0  1.2   6484  6476 ?        SL   10:44   0:00 heartbeat:  read ping  192.168.11.1
498       2787  0.0  0.2   5380  1488 ?        S    10:45   0:00  /usr/lib/heartbeat/ipfail

11、测试1:主上故意禁ping

1
#iptables -I INPUT -p icmp -j DROP

windows客户端一直ping 192.168.11.100 ,一直通,禁止ping之后中间会中断一会,之后一直通;

wKioL1VwFDfAufNjAAF54o941FY163.jpg

在从上ifconfig查看出现eth1:0,查看nginx进程也有,说明转换到从机器上运行;

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
[root@web ~] # ifconfig 
eth0      Link encap:Ethernet  HWaddr 00:0C:29:97:C3:EC  
           inet addr:192.168.20.30  Bcast:192.168.20.255  Mask:255.255.255.0
           inet6 addr: fe80::20c:29ff:fe97:c3ec /64  Scope:Link
           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
           RX packets:460 errors:0 dropped:0 overruns:0 frame:0
           TX packets:469 errors:0 dropped:0 overruns:0 carrier:0
           collisions:0 txqueuelen:1000 
           RX bytes:37104 (36.2 KiB)  TX bytes:101866 (99.4 KiB)
           Interrupt:19 Base address:0x2000 
           
eth1      Link encap:Ethernet  HWaddr 00:0C:29:97:C3:F6  
           inet addr:192.168.11.30  Bcast:192.168.11.255  Mask:255.255.255.0
           inet6 addr: fe80::20c:29ff:fe97:c3f6 /64  Scope:Link
           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
           RX packets:1022 errors:0 dropped:0 overruns:0 frame:0
           TX packets:1035 errors:0 dropped:0 overruns:0 carrier:0
           collisions:0 txqueuelen:1000 
           RX bytes:191275 (186.7 KiB)  TX bytes:182393 (178.1 KiB)
           Interrupt:18 Base address:0x2080 
           
eth1:0    Link encap:Ethernet  HWaddr 00:0C:29:97:C3:F6  
           inet addr:192.168.11.100  Bcast:192.168.11.255  Mask:255.255.255.0
           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
           Interrupt:18 Base address:0x2080

12、测试2:主上停止heartbeat服务

1
#service heartbeat stop

windows客户端一直ping 192.168.11.100 ,一直通,停止心跳服务后中间会中断一会,之后一直通;

在从上ifconfig查看出现eth1:0,查看nginx进程也有,说明转换到从机器上运行;


13、测试3:测试脑裂,主和从都停掉eth1网卡;

eth1网卡禁用,ifdown eth1 心跳线断了之后,会发生脑裂;主从之间连接断了,从在死亡时间没收到主的心跳,则认为主死亡。

主死了,从机器接管服务,从机器使用虚拟ip地址,主和从都在运行服务;

主机器没有eth1网卡,一直运行nginx;

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
[root@yong ha.d] # ifconfig 
eth0      Link encap:Ethernet  HWaddr 00:0C:29:43:3D:32  
           inet addr:192.168.20.20  Bcast:192.168.20.255  Mask:255.255.255.0
           inet6 addr: fe80::20c:29ff:fe43:3d32 /64  Scope:Link
           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
           RX packets:11442 errors:0 dropped:0 overruns:0 frame:0
           TX packets:15376 errors:0 dropped:0 overruns:0 carrier:0
           collisions:0 txqueuelen:1000 
           RX bytes:842833 (823.0 KiB)  TX bytes:10226838 (9.7 MiB)
           Interrupt:18 Base address:0x2000 
lo        Link encap:Local Loopback  
           inet addr:127.0.0.1  Mask:255.0.0.0
           inet6 addr: ::1 /128  Scope:Host
           UP LOOPBACK RUNNING  MTU:65536  Metric:1
           RX packets:1163 errors:0 dropped:0 overruns:0 frame:0
           TX packets:1163 errors:0 dropped:0 overruns:0 carrier:0
           collisions:0 txqueuelen:0 
           RX bytes:150095 (146.5 KiB)  TX bytes:150095 (146.5 KiB)
1
2
3
[root@yong ha.d] # ps aux |grep nginx
root     11686  0.0  0.1   5000   636 ?        Ss   14:27   0:00 nginx: master process  /usr/local/nginx/sbin/nginx  -c  /usr/local/nginx/conf/nginx .conf
nobody   11687  0.0  0.1   5200   988 ?        S    14:27   0:00 nginx: worker process

从机器查看地址,eth1:0出现

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
[root@localhost ha.d] # ifconfig 
eth0      Link encap:Ethernet  HWaddr 00:0C:29:97:C3:EC  
           inet addr:192.168.20.30  Bcast:192.168.20.255  Mask:255.255.255.0
           inet6 addr: fe80::20c:29ff:fe97:c3ec /64  Scope:Link
           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
           RX packets:7901 errors:0 dropped:0 overruns:0 frame:0
           TX packets:5891 errors:0 dropped:0 overruns:0 carrier:0
           collisions:0 txqueuelen:1000 
           RX bytes:603592 (589.4 KiB)  TX bytes:2094606 (1.9 MiB)
           Interrupt:19 Base address:0x2000 
eth1      Link encap:Ethernet  HWaddr 00:0C:29:97:C3:F6  
           inet6 addr: fe80::20c:29ff:fe97:c3f6 /64  Scope:Link
           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
           RX packets:20774 errors:0 dropped:0 overruns:0 frame:0
           TX packets:59144 errors:0 dropped:0 overruns:0 carrier:0
           collisions:0 txqueuelen:1000 
           RX bytes:3513861 (3.3 MiB)  TX bytes:12998603 (12.3 MiB)
           Interrupt:18 Base address:0x2080 
eth1:0    Link encap:Ethernet  HWaddr 00:0C:29:97:C3:F6  
           inet addr:192.168.11.100  Bcast:0.0.0.0  Mask:255.255.255.0
           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
           Interrupt:18 Base address:0x2080
1
2
3
4
[root@localhost ha.d] # ps aux |grep nginx
root      8938  0.0  0.0   3684   584 ?        Ss   14:37   0:00 nginx: master process  /usr/local/nginx/sbin/nginx  -c  /usr/local/nginx/conf/nginx .conf
nobody    8940  0.0  0.1   4936  2008 ?        S    14:37   0:00 nginx: worker process                                          
nobody    8941  0.0  0.2   4936  2064 ?        S    14:37   0:00 nginx: worker process

14、测试4:设置auto_failback off

主从都需要配置,启动heartbeat,主上禁止ping之后,跳转到从机器,主恢复ping之后,也不会跳转到主,一直是从机器提供服务;


HA高可用搭建完毕;






本文转自 模范生 51CTO博客,原文链接:http://blog.51cto.com/mofansheng/1658552,如需转载请自行联系原作者

目录
相关文章
|
2月前
|
运维 负载均衡 监控
"Linux高可用集群背后的神秘力量:揭秘心跳机制,如何确保服务永不掉线?"
【8月更文挑战第21天】今天探讨Linux高可用集群中的心跳机制——节点间定期发送信号以确认彼此状态的关键技术。它主要用于故障检测、负载均衡及资源接管。示例代码展示如何使用Corosync+Pacemaker配置心跳,确保服务连续性与可靠性。正确配置心跳机制能够显著提升系统的稳定性。
36 1
|
2月前
|
存储 分布式计算 负载均衡
在Linux中,什么是集群,并且列出常见的集群技术。
在Linux中,什么是集群,并且列出常见的集群技术。
|
2月前
|
负载均衡 监控 算法
在Linux中,如何配置和管理LVS集群?
在Linux中,如何配置和管理LVS集群?
|
2月前
|
存储 运维 监控
在Linux中,心跳机制在Linux高可用集群中作用是什么?
在Linux中,心跳机制在Linux高可用集群中作用是什么?
|
2月前
|
消息中间件 Java Kafka
Linux——Kafka集群搭建
Linux——Kafka集群搭建
38 0
|
4月前
|
Linux 数据安全/隐私保护
HTCondor下多台Linux计算集群的搭建
HTCondor下多台Linux计算集群的搭建
41 1
HTCondor下多台Linux计算集群的搭建
|
4月前
|
Linux 网络安全
|
5月前
|
弹性计算 负载均衡 网络协议
LVS (Linux Virtual server)集群介绍
LVS (Linux Virtual server)集群介绍
|
5月前
|
大数据 Linux 虚拟化
大数据软件基础(3) —— 在VMware上安装Linux集群
大数据软件基础(3) —— 在VMware上安装Linux集群
76 0
|
5月前
|
Kubernetes 网络协议 Linux
使用 kubeadm 部署 Kubernetes 集群(一)linux环境准备
使用 kubeadm 部署 Kubernetes 集群(一)linux环境准备
248 9