Helm3部署Rancher2.6.3高可用集群-阿里云开发者社区

一、前言

在企业生产环境，k8s高可用是一个必不可少的特性，其中最通用的场景就是如何在 k8s 集群宕机一个节点的情况下保障服务依旧可用。部署高可用k8s集群对于企业级云平台来说是一个根本性的原则，容错、服务可用和数据安全是高可用基础设施的关键。本文是在青云上利用青云LB搭建k8s高可用集群的过程中遇到的各种问题的梳理和总结。Rancher是一个开源的企业级多集群Kubernetes管理平台，实现了Kubernetes集群在混合云+本地数据中心的集中部署与管理，以确保集群的安全性，加速企业数字化转型。通过Rancher企业再也不必自己使用一系列的开源软件去从头搭建容器服务平台。Rancher提供了在生产环境中使用的管理Docker和Kubernetes的全栈化容器部署与管理平台，Rancher现在已被SUSE收购了。

Helm是Kubernetes的一个包管理工具，用来简化Kubernetes应用的部署和管理。

其实我们公司使用Rancher已经有一两年的时间了，之前的版本是2.3，现在应该是升级到了2.5.8，当然了最新的版本应该已经到了2.6.8了，至于为什么没有升级到2.6版本里？主要是基于以下几点考虑的。

生产环境中那肯定是“稳”当头，新版本有很多不确定的因素。
据说Rancher2.6版本比较难用，界面有很大的改变。

正所谓“我不入地狱,谁入地狱？”，所以，我们先来排一排Rancher2.6版本。

二、部署说明

首先你得有个高可用的k8s集群，若是还不会搭建k8s集群的可以看我历史文章“基于青云LB搭建高可用的k8s集群”。通过kubectl get nodes检查k8s集群健康状态：

$ kubectl get nodes
NAME          STATUS   ROLES                  AGE   VERSION
k8s-master1   Ready    control-plane,master   9d    v1.20.7
k8s-master2   Ready    control-plane,master   9d    v1.20.7
k8s-node1     Ready    worker                 9d    v1.20.7
k8s-node2     Ready    worker                 8d    v1.20.7

注：我这是2个master节点，生产中至少需要3个节点的master节点。

三、安装Helm3

官方下载地址

helm下载地址:https://github.com/helm/helm/releases
helm中文文档:https://helm.sh/zh/docs/topics/version_skew/

3.1 通过wget方式直接拉取

$ wget -c https://get.helm.sh/helm-v3.7.2-linux-amd64.tar.gz
$ tar zxvf helm-v3.7.2-linux-amd64.tar.gz
$ mv ./linux-amd64/helm /usr/bin/
$ helm version
version.BuildInfo{Version:"v3.7.2", GitCommit:"663a896f4a815053445eec4153677ddc24a0a361", GitTreeState:"clean", GoVersion:"go1.16.10"}

注：安装helm要查看支持的k8s版本，提前查看Helm版本支持策略：https://helm.sh/zh/docs/topics/version_skew/

如下图所示：

3.2 通过GitHub直接下载

helm下载地址:https://github.com/helm/helm/releases

$ tar zxvf helm-v3.7.2-linux-amd64.tar.gz
$ mv ./linux-amd64/helm /usr/bin/
$ helm version
version.BuildInfo{Version:"v3.7.2", GitCommit:"663a896f4a815053445eec4153677ddc24a0a361", GitTreeState:"clean", GoVersion:"go1.16.10"}

四、Helm3部署Rancher2.6.3集群

以下操作全部都是在k8s-master1服务器上执行。

4.1 配置国内存放chart仓库的地址

推荐使用阿里云仓库（https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts）。

##添加阿里云的 chart 仓库
$ helm repo add aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts
##添加 bitnami 的 chart 仓库
$ helm repo add bitnami https://charts.bitnami.com/bitnami
##添加Rancher chart仓库地址
$ helm repo add rancher-stable https://releases.rancher.com/server-charts/stable
##更新 chart 仓库 
$ helm repo update

注：Rancher chart仓库推荐stable。latest 最新：推荐用于试用最新功能stable 稳定：推荐用于生产环境 Alpha：即将发布的实验性预览

官网地址：https://rancher.com/docs/rancher/v2.6/en/installation/other-installation-methods/air-gap/install-rancher/

4.2 选择 SSL 配置

Rancher Server 默认设计为安全的，需要 SSL/TLS 配置。当 Rancher 安装在 Kubernetes 集群上时，有两个推荐的证书来源选项。如下所示：

我们使用自己的证书文件，安装时通过ingress.tls.source=secret来标识。

4.3生成自签证书

$ bash  key.sh --ssl-domain=test.rancker.com --ssl-trusted-ip=192.168.0.152,192.168.0.154,192.168.0.156,192.168.0.201 --ssl-size=2048 --ssl-date=3650

test.rancker.com是自定义的测试域名。

key.sh内容如下：

#!/bin/bash -e
help ()
{
    echo  ' ================================================================ '
    echo  ' --ssl-domain: 生成ssl证书需要的主域名，如不指定则默认为www.rancher.local，如果是ip访问服务，则可忽略；'
    echo  ' --ssl-trusted-ip: 一般ssl证书只信任域名的访问请求，有时候需要使用ip去访问server，那么需要给ssl证书添加扩展IP，多个IP用逗号隔开；'
    echo  ' --ssl-trusted-domain: 如果想多个域名访问，则添加扩展域名（SSL_TRUSTED_DOMAIN）,多个扩展域名用逗号隔开；'
    echo  ' --ssl-size: ssl加密位数，默认2048；'
    echo  ' --ssl-date: ssl有效期，默认10年；'
    echo  ' --ca-date: ca有效期，默认10年；'
    echo  ' --ssl-cn: 国家代码(2个字母的代号),默认CN;'
    echo  ' 使用示例:'
    echo  ' ./create_self-signed-cert.sh --ssl-domain=www.test.com --ssl-trusted-domain=www.test2.com \ '
    echo  ' --ssl-trusted-ip=1.1.1.1,2.2.2.2,3.3.3.3 --ssl-size=2048 --ssl-date=3650'
    echo  ' ================================================================'
}
case "$1" in
    -h|--help) help; exit;;
esac
if [[ $1 == '' ]];then
    help;
    exit;
fi
CMDOPTS="$*"
for OPTS in $CMDOPTS;
do
    key=$(echo ${OPTS} | awk -F"=" '{print $1}' )
    value=$(echo ${OPTS} | awk -F"=" '{print $2}' )
    case "$key" in
        --ssl-domain) SSL_DOMAIN=$value ;;
        --ssl-trusted-ip) SSL_TRUSTED_IP=$value ;;
        --ssl-trusted-domain) SSL_TRUSTED_DOMAIN=$value ;;
        --ssl-size) SSL_SIZE=$value ;;
        --ssl-date) SSL_DATE=$value ;;
        --ca-date) CA_DATE=$value ;;
        --ssl-cn) CN=$value ;;
    esac
done
# CA相关配置
CA_DATE=${CA_DATE:-3650}
CA_KEY=${CA_KEY:-cakey.pem}
CA_CERT=${CA_CERT:-cacerts.pem}
CA_DOMAIN=cattle-ca
# ssl相关配置
SSL_CONFIG=${SSL_CONFIG:-$PWD/openssl.cnf}
SSL_DOMAIN=${SSL_DOMAIN:-'www.rancher.local'}
SSL_DATE=${SSL_DATE:-3650}
SSL_SIZE=${SSL_SIZE:-2048}
## 国家代码(2个字母的代号),默认CN;
CN=${CN:-CN}
SSL_KEY=$SSL_DOMAIN.key
SSL_CSR=$SSL_DOMAIN.csr
SSL_CERT=$SSL_DOMAIN.crt
echo -e "\033[32m ---------------------------- \033[0m"
echo -e "\033[32m       | 生成 SSL Cert |       \033[0m"
echo -e "\033[32m ---------------------------- \033[0m"
if [[ -e ./${CA_KEY} ]]; then
    echo -e "\033[32m ====> 1. 发现已存在CA私钥，备份"${CA_KEY}"为"${CA_KEY}"-bak，然后重新创建 \033[0m"
    mv ${CA_KEY} "${CA_KEY}"-bak
    openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
else
    echo -e "\033[32m ====> 1. 生成新的CA私钥 ${CA_KEY} \033[0m"
    openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
fi
if [[ -e ./${CA_CERT} ]]; then
    echo -e "\033[32m ====> 2. 发现已存在CA证书，先备份"${CA_CERT}"为"${CA_CERT}"-bak，然后重新创建 \033[0m"
    mv ${CA_CERT} "${CA_CERT}"-bak
    openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
else
    echo -e "\033[32m ====> 2. 生成新的CA证书 ${CA_CERT} \033[0m"
    openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
fi
echo -e "\033[32m ====> 3. 生成Openssl配置文件 ${SSL_CONFIG} \033[0m"
cat > ${SSL_CONFIG} <<EOM
[req]
req_extensions = v3_req
distinguished_name = req_distinguished_name
[req_distinguished_name]
[ v3_req ]
basicConstraints = CA:FALSE
keyUsage = nonRepudiation, digitalSignature, keyEncipherment
extendedKeyUsage = clientAuth, serverAuth
EOM
if [[ -n ${SSL_TRUSTED_IP} || -n ${SSL_TRUSTED_DOMAIN} ]]; then
    cat >> ${SSL_CONFIG} <<EOM
subjectAltName = @alt_names
[alt_names]
EOM
    IFS=","
    dns=(${SSL_TRUSTED_DOMAIN})
    dns+=(${SSL_DOMAIN})
    for i in "${!dns[@]}"; do
      echo DNS.$((i+1)) = ${dns[$i]} >> ${SSL_CONFIG}
    done
    if [[ -n ${SSL_TRUSTED_IP} ]]; then
        ip=(${SSL_TRUSTED_IP})
        for i in "${!ip[@]}"; do
          echo IP.$((i+1)) = ${ip[$i]} >> ${SSL_CONFIG}
        done
    fi
fi
echo -e "\033[32m ====> 4. 生成服务SSL KEY ${SSL_KEY} \033[0m"
openssl genrsa -out ${SSL_KEY} ${SSL_SIZE}
echo -e "\033[32m ====> 5. 生成服务SSL CSR ${SSL_CSR} \033[0m"
openssl req -sha256 -new -key ${SSL_KEY} -out ${SSL_CSR} -subj "/C=${CN}/CN=${SSL_DOMAIN}" -config ${SSL_CONFIG}
echo -e "\033[32m ====> 6. 生成服务SSL CERT ${SSL_CERT} \033[0m"
openssl x509 -sha256 -req -in ${SSL_CSR} -CA ${CA_CERT} \
    -CAkey ${CA_KEY} -CAcreateserial -out ${SSL_CERT} \
    -days ${SSL_DATE} -extensions v3_req \
    -extfile ${SSL_CONFIG}
echo -e "\033[32m ====> 7. 证书制作完成 \033[0m"
echo
echo -e "\033[32m ====> 8. 以YAML格式输出结果 \033[0m"
echo "----------------------------------------------------------"
echo "ca_key: |"
cat $CA_KEY | sed 's/^/  /'
echo
echo "ca_cert: |"
cat $CA_CERT | sed 's/^/  /'
echo
echo "ssl_key: |"
cat $SSL_KEY | sed 's/^/  /'
echo
echo "ssl_csr: |"
cat $SSL_CSR | sed 's/^/  /'
echo
echo "ssl_cert: |"
cat $SSL_CERT | sed 's/^/  /'
echo
echo -e "\033[32m ====> 9. 附加CA证书到Cert文件 \033[0m"
cat ${CA_CERT} >> ${SSL_CERT}
echo "ssl_cert: |"
cat $SSL_CERT | sed 's/^/  /'
echo
echo -e "\033[32m ====> 10. 重命名服务证书 \033[0m"
echo "cp ${SSL_DOMAIN}.key tls.key"
cp ${SSL_DOMAIN}.key tls.key
echo "cp ${SSL_DOMAIN}.crt tls.crt"
cp ${SSL_DOMAIN}.crt tls.crt

域名就是默认的：www.rancher.local,我们采用test.rancker.com。

官方地址：https://docs.rancher.cn/docs/rancher2.5/installation/resources/advanced/self-signed-ssl/_index/#41-一键生成-ssl-自签名证书脚本

脚本说明：

复制以上代码另存为key.sh或者其他您喜欢的文件名
脚本参数

--ssl-domain: 生成ssl证书需要的主域名，如不指定则默认为www.rancher.local，如果是ip访问服务，则可忽略；
--ssl-trusted-ip: 一般ssl证书只信任域名的访问请求，有时候需要使用ip去访问server，那么需要给ssl证书添加扩展IP，多个IP用逗号隔开；
--ssl-trusted-domain: 如果想多个域名访问，则添加扩展域名（TRUSTED_DOMAIN）,多个TRUSTED_DOMAIN用逗号隔开；
--ssl-size: ssl加密位数，默认2048；
--ssl-cn: 国家代码(2个字母的代号),默认CN；
使用示例:
./create_self-signed-cert.sh --ssl-domain=www.test.com --ssl-trusted-domain=www.test2.com \
--ssl-trusted-ip=1.1.1.1,2.2.2.2,3.3.3.3 --ssl-size=2048 --ssl-date=3650

4.4 部署rancher

创建 rancher 的 namespace：

$ kubectl --kubeconfig=$KUBECONFIG     create namespace cattle-system

helm 渲染中 --set privateCA=true 用到的证书：

$ kubectl -n cattle-system create secret generic tls-ca --from-file=cacerts.pem

helm 渲染中 --set additionalTrustedCAs=true 用到的证书：

$ cp cacerts.pem ca-additional.pem
$ kubectl -n cattle-system create secret generic tls-ca-additional --from-file=ca-additional.pem

helm 渲染中 --set ingress.tls.source=secret 用到的证书和密钥：

$ kubectl -n cattle-system create secret tls tls-rancher-ingress --cert=tls.crt --key=tls.key

通过Helm将部署模板下载到本地：

$ helm fetch rancher-stable/rancher

当前目录会多一个rancher-2.6.3.tgz

使用以下命令渲染模板：

$ helm template rancher ./rancher-2.6.3.tgz \
     --namespace cattle-system --output-dir . \
     --set privateCA=true \
     --set additionalTrustedCAs=true \
     --set ingress.tls.source=secret \
     --set hostname=test.rancker.com \
     --set useBundledSystemChart=true

在rancher目录中可以看到渲染好的模板文件：

使用kubectl安装rancher：

$ kubectl -n cattle-system apply -R -f ./rancher/templates/

注：可以事在所有的工作节点上将镜像拉取下来，避免拉取镜像时间较长。

如下所示：

$ docker pull rancher/rancher:v2.6.3
$ docker pull rancher/fleet:v0.3.8
$ docker pull rancher/fleet-agent:v0.3.8
$ docker pull rancher/rancher-webhook:v0.2.2
$ docker pull rancher/shell:v0.1.14

若是启动过程中有问题，可以删除pod,再创建一次

$ kubectl -n cattle-system delete -R -f ./rancher/templates/

有些pod需要手动删除

$ kubectl delete <pod名称> -n cattle-system

再次创建：

$ kubectl -n cattle-system apply -R -f ./rancher/templates/

查看安装进度：

$ kubectl -n cattle-system get all -o wide

注：通过上面可以看到rancher已经安装成功了。

4.5 配置hosts

由于域名是自定义的，我们需要在自己的windows上配置hosts：

192.168.0.154 test.rancker.com
192.168.0.152 test.rancker.com
192.168.0.156 test.rancker.com
192.168.0.201 test.rancker.com

windows的hosts路径：C:\Windows\System32\drivers\etc\hosts

浏览器访问：test.rancker.com

五、密码设置

Rancher2.6密码设置

1) 查看随机生成的密码

$ kubectl get secret --namespace cattle-system bootstrap-secret -o go-template='{{.data.bootstrapPassword|base64decode}}{{"\n"}}'

查看密码如下：

2) 设置特定密码

六、访问验证

6.1 Rancher2.6新特性面面观

首次进入如下：

Helm3部署Rancher2.6.3高可用集群

3.1 通过wget方式直接拉取

3.2 通过GitHub直接下载

4.1 配置国内存放chart仓库的地址

4.2 选择 SSL 配置

4.3生成自签证书

4.4 部署rancher

4.5 配置hosts

Rancher2.6密码设置

1) 查看随机生成的密码

2) 设置特定密码

6.1 Rancher2.6新特性面面观

6.2 设置中文

热门文章

最新文章

相关课程

相关电子书

相关实验场景

热门

活动广场

任务中心

开发者评测

高校计划

乘风者计划

训练营

阿里云MVP

话题

直播

下载

镜像站

技术资料

插件

Helm3部署Rancher2.6.3高可用集群

3.1 通过wget方式直接拉取

3.2 通过GitHub直接下载

4.1 配置国内存放chart仓库的地址

4.2 选择 SSL 配置

4.3生成自签证书

4.4 部署rancher

4.5 配置hosts

Rancher2.6密码设置

1) 查看随机生成的密码

2) 设置特定密码

6.1 Rancher2.6新特性面面观

6.2 设置中文

热门文章

最新文章

相关课程

相关电子书

相关实验场景