开发者社区> 技术小甜> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

k8s-master集群--haproxy

简介:
+关注继续查看

接着etcd的集群,现在用原有环境基础,增加master集群haproxy负载,机器受限 还是用1.5,1.6做master,把haproxy安装在1.5上

一般生产的时候,haproxy master etcd node 还是要分开集群

首先安装haproxy

yum install haproxy -y

yum install gcc -y

内核调优,修改系统文件

vim /etc/security/limits.conf

*    soft    nofile        65535 

*    hard    nofile        65535

配置日志文件,添加三行

vim /etc/rsyslog.conf

$ModLoad    imudp

$UDPServerRun    514

local3.*                        /var/log/haproxy.log


增加修改配置文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
global
 
maxconn    4096
 
log    127.0.0.1    local3    info
 
chroot    /var/lib/haproxy
 
user        haproxy
 
group       haproxy
daemon
 
nbproc    1
 
pidfile    /var/run/haproxy.pid
 
ulimit-n    65535
 
stats    socket    /var/lib/haproxy/stats
 
defaults
 
log    global
 
mode    http
 
maxconn    20480
 
option    httplog
 
option    httpclose
 
option    dontlognull
 
option    forwardfor
 
option    redispatch
 
option    abortonclose
 
stats    refresh    30
 
retries    3
 
balance    roundrobin
 
cookie    SRV
timeout    check    2000ms
 
timeout    connect    5000ms
 
timeout    server    50000ms
 
timeout    client    50000ms
 
listen    admin_status                                        #定义haproxy的监控界面
 
bind    0.0.0.0:6553
 
mode    http
 
log    127.0.0.1    local3 info
 
stats    enable
 
stats    refresh    5s                                            #监控页面自动刷新时间5s
 
stats    realm    Haproxy\    Statistics                #登录监控页面提示符
 
stats    uri    /admin?stats                                  #监控页面URL路径
 
stats    auth    admin:123456                             #监控页面的账户密码
 
stats    hide-version                                           #隐藏haproxy版本
 
frontend    web_service                                     #定义前端服务器
 
bind    0.0.0.0:80
 
mode    http
 
log    global
 
option    httplog
 
option    httpclose
 
option    forwardfor
 
#acl    inside_src src 192.168.1.0/24                    #定义acl
 
#use_backend    inside_servers if inside_src        #判断acl的源地址,把请求转发到inside_servers组
 
default_backend    external_servers                        #默认服务器组
 
 
 
backend    external_servers
 
mode    http
 
balance    roundrobin                                            #轮询真实服务器
 
option    httpchk    GET    /index.html                #检查index文件,判断服务器是否健康
 
##定义后端真实服务器,向cookie中插入web1信息,check进行健康检查,检查时间间隔为2000ms,##连续两次健康则认为是正常开启的,连续三次检查失败则认为宕机,服务器权重1
 
server web1 192.168.1.5:8080 cookie web1 check inter 2000 rise 2 fall 3 weight 1
 
server web2 192.168.1.6:8080 cookie web2 check inter 2000 rise 2 fall 3 weight 1

其中注意修改

bind    0.0.0.0:80  #这个端口是用来做代理的前端口,通过该端口可以直达被代理的两台master机器,配置中采用轮询负载。

最后两行配置是定义被代理的2台master服务


启动haproxy服务

service rsyslog restart                #重启系统日志服务

haproxy -f /etc/haproxy/haproxy.cfg        #启动haproxy服务

echo "/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg" >> /etc/rc.local   #加入到开机启动


安装master组件并修改相应配置

yum -y install kubernetes-master

修改master配置

vi /etc/kubernetes/apiserver

1
2
3
4
5
6
7
8
9
10
11
12
13
KUBE_API_ADDRESS="--insecure-bind-address=0.0.0.0"
 
KUBE_API_PORT="--port=8080"
 
KUBELET_PORT="--kubelet-port=10250"
 
KUBE_ETCD_SERVERS="--etcd-servers=http://192.168.1.5:2379,192.168.1.6:2379"
 
KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=10.254.0.0/16"
 
KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ResourceQuota"
 
KUBE_API_ARGS=""


vi /etc/kubernetes/config

1
2
3
4
5
6
7
KUBE_LOGTOSTDERR="--logtostderr=true"
 
KUBE_LOG_LEVEL="--v=0"
 
KUBE_ALLOW_PRIV="--allow-privileged=true"
 
KUBE_MASTER="--master=http://192.168.1.5:80"

KUBE_MASTER="--master=http://192.168.1.5:80"  这一项就是填写haproxy代理的页面地址,端口是可以在haproxy配置中自定义的


vi /etc/kubernetes/controller-manager

KUBE_CONTROLLER_MANAGER_ARGS="--leader-elect=true"

vi /etc/kubernetes/scheduler

KUBE_SCHEDULER_ARGS="--leader-elect=true"

##"--leader-elect=true"这一项必须在两个文件中添加,用于master集群可用节点选举


下面就要修改node节点的配置了

vi /etc/kubernetes/kubelet

1
2
3
4
5
6
7
8
KUBELET_ADDRESS="--address=0.0.0.0"
 
 
KUBELET_HOSTNAME="--hostname-override=192.168.1.5"
 
KUBELET_API_SERVER="--api-servers=   #修改成了haproxy代理页面地址
KUBELET_POD_INFRA_CONTAINER="--pod-infra-container-image=192.168.1.5:5000/pod-infrastructure:latest"
KUBELET_ARGS="--cluster-dns=10.254.10.20 --cluster-domain=atomic.io"


注意凡是用到api-servers地址的都必须修改为haproxy代理地址http://192.168.1.5:80



kubernetes-dashboard.yaml 文件里有用到,一定注意修改


修改完配置后重启各服务即可通过浏览器访问测试

192.168.1.5:80

测试中停掉一台master服务,通过页面依旧正常访问

for SERVICES in kube-apiserver kube-controller-manager kube-scheduler; do systemctl stop $SERVICES;done


在服务器上操作会出现下面问题

[root@k8s-master heapster]# kubectl get pods -o wide -n kube-system

The connection to the server localhost:8080 was refused - did you specify the right host or port?


kubectl 命令默认访问本机的8080端口,当master服务停了后,命令需要用-s 指定访问源地址也就是代理页面地址。

[root@k8s-master heapster]# kubectl get pods -o wide -n kube-system -s 192.168.1.5:80

NAME                                    READY     STATUS    RESTARTS   AGE       IP            NODE

heapster-3919175978-cfpqw               1/1       Running   0          7m        172.17.79.3   192.168.1.5

kubernetes-dashboard-1872927757-ft8pk   1/1       Running   0          7m        172.17.88.2   k8s-node-1

monitoring-grafana-3994812335-8cbnt     1/1       Running   0          7m        172.17.88.3   k8s-node-1

monitoring-influxdb-265709471-q3wlt     1/1       Running   0          7m        172.17.79.4   192.168.1.5

也可以用命令声明下,alias kubectl="kubectl -s 192.168.1.5:80" 就不用每次都加了


到此就完成了2个etcd,2个master,2个node,各个集群都在两个机器上了。

haproxy做前端分发最好用两台机器做主备,加上keepalived即可





















本文转自super李导51CTO博客,原文链接:http://blog.51cto.com/superleedo/2056041 ,如需转载请自行联系原作者



版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
kubeadm HA master集群master重置故障恢复
文章楔子 对于一个具有HA master的集群来说,发生单点故障通常不会影响集群的正常运行,只要及时复原单点故障,就可以避免潜在的数据、状态丢失。本文旨在指导读者,在kubeadm搭建的HA master集群中,某一master主机遭遇硬件更换、系统重置、k8s配置重置的情况下,应当如何恢复K8s HA master集群。
2340 0
KEEPALIVED 做HA实例的安装与配置
--------------------------------------master------------------------------------------------------- wget http://www.
673 0
puppet master/agent
puppet master/agent 配置 安装 master: yum install puppet-server agent: yum install puppet 自动签名 puppet的master端 touch autosign.
538 0
+关注
文章
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载