前言
写在前头:
- 细心点
- 执行命令前多检查检查
- 保存文件前多检查检查
- 出现错误之后,认真看报错信息
正文
1. 创建 CA 根证书
openssl genrsa -out ca.key 2048 openssl req -x509 -new -nodes -key ca.key -subj "/CN=172.16.0.10" -days 36500 -out ca.crt
- -subj: “/CN” 的值为 Master 主机名或 IP 地址。
- days: 设置证书的有效期。
将生成的 ca.key 和 ca.crt 文件保存在 /etc/kubernetes/pki 目录下。
2. 安装 etcd 集群
从 Github 官网下载 etcd 二进制文件,解压缩后得到 etcd 和 etcdctl 文件,将它们复制到 /usr/bin 目录下。
下载地址:https://github.com/etcd-io/etcd/releases/tag/v3.5.1
然后将其部署为一个 systemd 的服务,创建 systemd 服务配置文件 /usr/lib/systemd/system/etcd.service
[Unit] Description=etcd key-value store Documentation=https://github.com/etcd-io/etcd After=network.target [Service] EnvironmentFile=/etc/etcd/etcd.conf ExecStart=/usr/bin/etcd Restart=always [Install] WantedBy=multi-user.target
其中,EnvironmentFile 指定配置文件的全路径,其中的参数以环境变量的格式进行配置。
接下来先对 etcd 需要的 CA 证书配置进行说明。
3. 创建 etcd 的 CA 证书
先创建一个 x509 v3 配置文件 ectd_ssl.cnf,其中 subjectAltName 参数(alt_names)包括所有 etcd 主机的 IP 地址,
[ req ] req_extensions = v3_req distinguished_name = req_distinguished_name [ req_distinguished_name ] [ v3_req ] basicConstraints = CA:FALSE keyUsage = nonRepudiation, digitalSignature, keyEncipherment subjectAltName = @alt_names [ alt_names ] IP.1 = 172.16.0.10 IP.2 = 172.16.0.11
然后用 openssl 命令创建 etcd 的服务端 CA 证书,包括 etc_server.key 和 etcd_server.crt 文件,将其保存到 /etc/etcd/pki 目录下:
openssl genrsa -out etcd_server.key 2048 openssl req -new -key etcd_server.key -config etcd_ssl.cnf -subj "/CN=etcd-server" -out etcd_server.csr openssl x509 -req -in etcd_server.csr -CA /etc/kubernetes/pki/ca.crt -CAkey /etc/kubernetes/pki/ca.key -CAcreateserial -days 36500 -extensions v3_req -extfile etcd_ssl.cnf -out etcd_server.crt
在创建客户端使用的 CA 证书,包括 etcd_client.key 和 ectd_client.crt 文件,也将其保存到 /etc/etcd/pki 目录下,后续供 kube-apiserver 连接 etcd 时使用:
openssl genrsa -out etcd_client.key 2048 openssl req -new -key etcd_client.key -config etcd_ssl.cnf -subj "/CN=etcd-client" -out etcd_client.csr openssl x509 -req -in etcd_client.csr -CA /etc/kubernetes/pki/ca.crt -CAkey /etc/kubernetes/pki/ca.key -CAcreateserial -days 36500 -extensions v3_req -extfile etcd_ssl.cnf -out etcd_client.crt
4. etcd 参数配置说明
接下来对 2 个 etcd 节点进行配置。etcd 节点的配置方式包括启动参数、环境变量、配置文件等,本例使用环境变量方式将其配置到 /etc/etcd/etcd.conf 文件中,供 systemd 服务读取。
#节点 1 配置 ETCD_NAME=etcd1 ETCD_DATA_DIR=/etc/etcd/data ETCD_CERT_FILE=/etc/etcd/pki/etcd_server.crt ETCD_KEY_FILE=/etc/etcd/pki/etcd_server.key ETCD_TRUSTED_CA_FILE=/etc/kubernetes/pki/ca.crt ETCD_CLIENT_CERT_AUTH=true ETCD_LISTEN_CLIENT_URLS=https://172.16.0.10:2379 ETCD_ADVERTISE_CLIENT_URLS=https://172.16.0.10:2379 ETCD_PEER_CERT_FILE=/etc/etcd/pki/etcd_server.crt ETCD_PEER_KEY_FILE=/etc/etcd/pki/etcd_server.key ETCD_PEER_TRUSTED_CA_FILE=/etc/kubernetes/pki/ca.crt ETCD_LISTEN_PEER_URLS=https://172.16.0.10:2380 ETCD_INITIAL_ADVERTISE_PEER_URLS=https://172.16.0.10:2380 ETCD_INITIAL_CLUSTER_TOKEN=etcd-cluster ETCD_INITIAL_CLUSTER="etcd1=https://172.16.0.10:2380,etcd2=https://172.16.0.11:2380" ETCD_INITIAL_CLUSTER_STATE=new #节点 2 配置 ETCD_NAME=etcd2 ETCD_DATA_DIR=/etc/etcd/data ETCD_CERT_FILE=/etc/etcd/pki/etcd_server.crt ETCD_KEY_FILE=/etc/etcd/pki/etcd_server.key ETCD_TRUSTED_CA_FILE=/etc/kubernetes/pki/ca.crt ETCD_CLIENT_CERT_AUTH=true ETCD_LISTEN_CLIENT_URLS=https://172.16.0.11:2379 ETCD_ADVERTISE_CLIENT_URLS=https://172.16.0.11:2379 ETCD_PEER_CERT_FILE=/etc/etcd/pki/etcd_server.crt ETCD_PEER_KEY_FILE=/etc/etcd/pki/etcd_server.key ETCD_PEER_TRUSTED_CA_FILE=/etc/kubernetes/pki/ca.crt ETCD_LISTEN_PEER_URLS=https://172.16.0.11:2380 ETCD_INITIAL_ADVERTISE_PEER_URLS=https://172.16.0.11:2380 ETCD_INITIAL_CLUSTER_TOKEN=etcd-cluster ETCD_INITIAL_CLUSTER="etcd1=https://172.16.0.10:2380,etcd2=https://172.16.0.11:2380" ETCD_INITIAL_CLUSTER_STATE=new
5. 启动 etcd 集群
基于 systemd 的配置在 2 台主机上分别启动 etcd 服务,并设置为开机启动:
systemctl restart etcd && systemctl enable etcd
然后用 etcdctl 客户端命令行工具携带客户端 CA 证书,运行 etcdctl endpoint health 命令访问 etc 集群,验证集群状态是否正常,命令如下:
etcdctl --cacert=/etc/kubernetes/pki/ca.crt --cert=/etc/etcd/pki/etcd_client.crt --key=/etc/etcd/pki/etcd_client.key --endpoints=https://172.16.0.10:2379,https://172.16.0.11:2379 endpoint health
验证安装成功