前言:
etcd是一个使用比较广泛的集群用的键值类数据库,大数据集群,kubernetes集群,openstack集群等等集群都是做为官方标配。基于此,能有一个快速的离线安装etcd集群是一个比较好的方法(etcd的一般安装方式是二进制,难倒是不难,关键部署起来麻烦的很)。
一,etcd集群部署前的准备工作:
首先,既然是集群,那么,集群环境自然得有一个说法,(1)时间服务器(2)各个服务器之间的免密登录(3)swap分区的关闭(4)firewalld防火墙的关闭(5)selinux安全系统的关闭(6)统一的主机名(7)集群的大体规划
以上这些,主要是集群的规划,别的都没什么可说的,基本操作,多说也无意了。
需要明白自己要干什么?etcd集群部署好后,还需要部署什么?是部署kubernetes?那么,你的主机硬件配置是否足够呢?服务器需要用多少台呢?etcd集群通常是使用奇数个服务器,以便做到etcd的高可用状态(说人话,也就是服务器个数>=三台,为什么是奇数台服务器?因为一主两从嘛,可以简单的记忆为一石二鸟,哈哈,这里扯个淡。其实,主要是第一考虑经济性,偶数个服务器和奇数个服务器效果是一样的,何必多一个?第二是选举制度---过半机制:存活的节点数>总节点数/2决定偶数台服务器可能会选举不出来,而奇数台服务器必定可以选举出来。---适用情况:针对被分成2个小集群,>2个小集群不受此影响)。
二,离线安装包以及相关情况介绍
(1)etcd-v3.3.13-linux-amd64.tar.gz
etcd的二进制安装包,此包不需要解压,ansible会自动解压部署。
(2)ansible_offline.tar.gz
ansible-2.9.18的离线安装包,需要进入解压后的目录,执行 命令:
rpm -ivh *
(3)cfssl.tar.gz
cfssl的安装包,此包不需要解压,ansible会自动解压部署。
(4)ansible-deployment-etcd.tar.gz
ansible剧本文件,此包需要进入解压后目录,执行ansible-playbook 的部署。
下载链接:
链接:https://pan.baidu.com/s/1hSvc_nWFgCAF8IzbsrHu0A?pwd=k8ss
提取码:k8ss
三,正式部署
前面的先决条件都达成后,就可以进入ansible-deployment-etcd.tar.gz这个文件解压后的目录了,在运行前,有几个文件需要修改:
(1)group_vars目录下的all.yml文件
所有的离线包存放路径,software_dir
需要部署etcd集群的IP地址,剩下的不需要修改
[root@master ansible-deployment-etcd]# cat group_vars/all.yml # 安装目录 software_dir: '/root/' etcd_work_dir: '/opt/etcd' tmp_dir: '/tmp/etcd' # 自签证书可信任IP列表,为方便扩展,可添加多个预留IP cert_hosts: # 包含所有etcd节点IP etcd: - 192.168.217.16 - 192.168.217.17 - 192.168.217.18
(2)
hosts文件,这个文件定义的etcd集群各个节点的名称
[root@master ansible-deployment-etcd]# cat hosts [master] 192.168.217.16 node_name=k8s-master [node] 192.168.217.17 node_name=k8s-node1 192.168.217.18 node_name=k8s-node2 [etcd] 192.168.217.16 etcd_name=etcd-1 192.168.217.17 etcd_name=etcd-2 192.168.217.18 etcd_name=etcd-3
总共也就需要更改这两个文件了,剩下的都可以不用改动了。
(3)
测试运行命令(预执行,不过预执行好像会失败,无所谓了):
ansible-playbook -C -i hosts deployment-etcd-cluster.yaml
如果上面的测试没有问题,就可以正式开始部署了,部署命令为:
ansible-playbook -i hosts deployment-etcd-cluster.yaml
剧本执行完后,输出会有一个这个,表示集群安装正常:
TASK [etcd : debug] ******************************************************************************************************************************************************************* ok: [192.168.217.16] => { "status.stdout_lines": [ "member 1a58a86408898c44 is healthy: got healthy result from https://192.168.217.16:2379", "member 67146ac2958941d0 is healthy: got healthy result from https://192.168.217.17:2379", "member e078026890aff6e3 is healthy: got healthy result from https://192.168.217.18:2379", "cluster is healthy" ] } ok: [192.168.217.17] => { "status.stdout_lines": [ "member 1a58a86408898c44 is healthy: got healthy result from https://192.168.217.16:2379", "member 67146ac2958941d0 is healthy: got healthy result from https://192.168.217.17:2379", "member e078026890aff6e3 is healthy: got healthy result from https://192.168.217.18:2379", "cluster is healthy" ] } ok: [192.168.217.18] => { "status.stdout_lines": [ "member 1a58a86408898c44 is healthy: got healthy result from https://192.168.217.16:2379", "member 67146ac2958941d0 is healthy: got healthy result from https://192.168.217.17:2379", "member e078026890aff6e3 is healthy: got healthy result from https://192.168.217.18:2379", "cluster is healthy" ] }
最终结果这样表示正常:
PLAY RECAP **************************************************************************************************************************************************************************** 192.168.217.16 : ok=11 changed=10 unreachable=0 failed=0 skipped=0 rescued=0 ignored=0 192.168.217.17 : ok=11 changed=10 unreachable=0 failed=0 skipped=0 rescued=0 ignored=0 192.168.217.18 : ok=11 changed=10 unreachable=0 failed=0 skipped=0 rescued=0 ignored=0 localhost : ok=6 changed=6 unreachable=0 failed=0 skipped=0 rescued=0 ignored=0
localhost表示的是etcd证书创建过程。
就这么简单,etcd集群就部署完了。
附:etcd集群健康状态检查命令:
export ETCDCTL_API=3 /opt/etcd/bin/etcdctl --cacert=/opt/etcd/ssl/ca.pem --cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem --endpoints="https://192.168.217.16:2379,https://192.168.217.17:2379,https://192.168.217.18:2379" endpoint health --write-out=table