AI 助理
备案控制台
开发者社区 云原生 文章 正文

Helm3部署Rancher2.6.3高可用集群

2023-09-06 300
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云解析 DNS，旗舰版 1个月
云解析DNS，个人版 1个月
全局流量管理 GTM，标准版 1个月
简介： Helm3部署Rancher2.6.3高可用集群，通过创建 Kubernetes Secret 使用自签证书。

一、前言


在企业生产环境，k8s高可用是一个必不可少的特性，其中最通用的场景就是如何在 k8s 集群宕机一个节点的情况下保障服务依旧可用。部署高可用k8s集群对于企业级云平台来说是一个根本性的原则，容错、服务可用和数据安全是高可用基础设施的关键。本文是在青云上利用青云LB搭建k8s高可用集群的过程中遇到的各种问题的梳理和总结。Rancher是一个开源的企业级多集群Kubernetes管理平台，实现了Kubernetes集群在混合云+本地数据中心的集中部署与管理，以确保集群的安全性，加速企业数字化转型。通过Rancher企业再也不必自己使用一系列的开源软件去从头搭建容器服务平台。Rancher提供了在生产环境中使用的管理Docker和Kubernetes的全栈化容器部署与管理平台，Rancher现在已被SUSE收购了。

Helm是Kubernetes的一个包管理工具，用来简化Kubernetes应用的部署和管理。

其实我们公司使用Rancher已经有一两年的时间了，之前的版本是2.3，现在应该是升级到了2.5.8，当然了最新的版本应该已经到了2.6.8了，至于为什么没有升级到2.6版本里？主要是基于以下几点考虑的。

  • 生产环境中那肯定是“稳”当头，新版本有很多不确定的因素。
  • 据说Rancher2.6版本比较难用，界面有很大的改变。

正所谓“我不入地狱,谁入地狱？”，所以，我们先来排一排Rancher2.6版本。

二、部署说明


首先你得有个高可用的k8s集群，若是还不会搭建k8s集群的可以看我历史文章“基于青云LB搭建高可用的k8s集群”。通过kubectl get nodes检查k8s集群健康状态：

$ kubectl get nodes
NAME          STATUS   ROLES                  AGE   VERSION
k8s-master1   Ready    control-plane,master   9d    v1.20.7
k8s-master2   Ready    control-plane,master   9d    v1.20.7
k8s-node1     Ready    worker                 9d    v1.20.7
k8s-node2     Ready    worker                 8d    v1.20.7

注：我这是2个master节点，生产中至少需要3个节点的master节点。

三、安装Helm3


官方下载地址

helm下载地址:https://github.com/helm/helm/releases
helm中文文档:https://helm.sh/zh/docs/topics/version_skew/

3.1 通过wget方式直接拉取

$ wget -c https://get.helm.sh/helm-v3.7.2-linux-amd64.tar.gz
$ tar zxvf helm-v3.7.2-linux-amd64.tar.gz
$ mv ./linux-amd64/helm /usr/bin/
$ helm version
version.BuildInfo{Version:"v3.7.2", GitCommit:"663a896f4a815053445eec4153677ddc24a0a361", GitTreeState:"clean", GoVersion:"go1.16.10"}

注：安装helm要查看支持的k8s版本，提前查看Helm版本支持策略：https://helm.sh/zh/docs/topics/version_skew/

如下图所示：

3.2 通过GitHub直接下载

helm下载地址:https://github.com/helm/helm/releases
$ tar zxvf helm-v3.7.2-linux-amd64.tar.gz
$ mv ./linux-amd64/helm /usr/bin/
$ helm version
version.BuildInfo{Version:"v3.7.2", GitCommit:"663a896f4a815053445eec4153677ddc24a0a361", GitTreeState:"clean", GoVersion:"go1.16.10"}

四、Helm3部署Rancher2.6.3集群

以下操作全部都是在k8s-master1服务器上执行。

4.1 配置国内存放chart仓库的地址

推荐使用阿里云仓库（https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts）。

##添加阿里云的 chart 仓库
$ helm repo add aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts
##添加 bitnami 的 chart 仓库
$ helm repo add bitnami https://charts.bitnami.com/bitnami
##添加Rancher chart仓库地址
$ helm repo add rancher-stable https://releases.rancher.com/server-charts/stable
##更新 chart 仓库 
$ helm repo update

注：Rancher chart仓库推荐stable。latest 最新：推荐用于试用最新功能stable 稳定：推荐用于生产环境 Alpha：即将发布的实验性预览

官网地址：https://rancher.com/docs/rancher/v2.6/en/installation/other-installation-methods/air-gap/install-rancher/

4.2 选择 SSL 配置

Rancher Server 默认设计为安全的，需要 SSL/TLS 配置。当 Rancher 安装在 Kubernetes 集群上时，有两个推荐的证书来源选项。如下所示：

我们使用自己的证书文件，安装时通过ingress.tls.source=secret来标识。

4.3生成自签证书

$ bash  key.sh --ssl-domain=test.rancker.com --ssl-trusted-ip=192.168.0.152,192.168.0.154,192.168.0.156,192.168.0.201 --ssl-size=2048 --ssl-date=3650

test.rancker.com是自定义的测试域名。

key.sh内容如下：

#!/bin/bash -e
help ()
{
    echo  ' ================================================================ '
    echo  ' --ssl-domain: 生成ssl证书需要的主域名，如不指定则默认为www.rancher.local，如果是ip访问服务，则可忽略；'
    echo  ' --ssl-trusted-ip: 一般ssl证书只信任域名的访问请求，有时候需要使用ip去访问server，那么需要给ssl证书添加扩展IP，多个IP用逗号隔开；'
    echo  ' --ssl-trusted-domain: 如果想多个域名访问，则添加扩展域名（SSL_TRUSTED_DOMAIN）,多个扩展域名用逗号隔开；'
    echo  ' --ssl-size: ssl加密位数，默认2048；'
    echo  ' --ssl-date: ssl有效期，默认10年；'
    echo  ' --ca-date: ca有效期，默认10年；'
    echo  ' --ssl-cn: 国家代码(2个字母的代号),默认CN;'
    echo  ' 使用示例:'
    echo  ' ./create_self-signed-cert.sh --ssl-domain=www.test.com --ssl-trusted-domain=www.test2.com \ '
    echo  ' --ssl-trusted-ip=1.1.1.1,2.2.2.2,3.3.3.3 --ssl-size=2048 --ssl-date=3650'
    echo  ' ================================================================'
}
case "$1" in
    -h|--help) help; exit;;
esac
if [[ $1 == '' ]];then
    help;
    exit;
fi
CMDOPTS="$*"
for OPTS in $CMDOPTS;
do
    key=$(echo ${OPTS} | awk -F"=" '{print $1}' )
    value=$(echo ${OPTS} | awk -F"=" '{print $2}' )
    case "$key" in
        --ssl-domain) SSL_DOMAIN=$value ;;
        --ssl-trusted-ip) SSL_TRUSTED_IP=$value ;;
        --ssl-trusted-domain) SSL_TRUSTED_DOMAIN=$value ;;
        --ssl-size) SSL_SIZE=$value ;;
        --ssl-date) SSL_DATE=$value ;;
        --ca-date) CA_DATE=$value ;;
        --ssl-cn) CN=$value ;;
    esac
done
# CA相关配置
CA_DATE=${CA_DATE:-3650}
CA_KEY=${CA_KEY:-cakey.pem}
CA_CERT=${CA_CERT:-cacerts.pem}
CA_DOMAIN=cattle-ca
# ssl相关配置
SSL_CONFIG=${SSL_CONFIG:-$PWD/openssl.cnf}
SSL_DOMAIN=${SSL_DOMAIN:-'www.rancher.local'}
SSL_DATE=${SSL_DATE:-3650}
SSL_SIZE=${SSL_SIZE:-2048}
## 国家代码(2个字母的代号),默认CN;
CN=${CN:-CN}
SSL_KEY=$SSL_DOMAIN.key
SSL_CSR=$SSL_DOMAIN.csr
SSL_CERT=$SSL_DOMAIN.crt
echo -e "\033[32m ---------------------------- \033[0m"
echo -e "\033[32m       | 生成 SSL Cert |       \033[0m"
echo -e "\033[32m ---------------------------- \033[0m"
if [[ -e ./${CA_KEY} ]]; then
    echo -e "\033[32m ====> 1. 发现已存在CA私钥，备份"${CA_KEY}"为"${CA_KEY}"-bak，然后重新创建 \033[0m"
    mv ${CA_KEY} "${CA_KEY}"-bak
    openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
else
    echo -e "\033[32m ====> 1. 生成新的CA私钥 ${CA_KEY} \033[0m"
    openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
fi
if [[ -e ./${CA_CERT} ]]; then
    echo -e "\033[32m ====> 2. 发现已存在CA证书，先备份"${CA_CERT}"为"${CA_CERT}"-bak，然后重新创建 \033[0m"
    mv ${CA_CERT} "${CA_CERT}"-bak
    openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
else
    echo -e "\033[32m ====> 2. 生成新的CA证书 ${CA_CERT} \033[0m"
    openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
fi
echo -e "\033[32m ====> 3. 生成Openssl配置文件 ${SSL_CONFIG} \033[0m"
cat > ${SSL_CONFIG} <<EOM
[req]
req_extensions = v3_req
distinguished_name = req_distinguished_name
[req_distinguished_name]
[ v3_req ]
basicConstraints = CA:FALSE
keyUsage = nonRepudiation, digitalSignature, keyEncipherment
extendedKeyUsage = clientAuth, serverAuth
EOM
if [[ -n ${SSL_TRUSTED_IP} || -n ${SSL_TRUSTED_DOMAIN} ]]; then
    cat >> ${SSL_CONFIG} <<EOM
subjectAltName = @alt_names
[alt_names]
EOM
    IFS=","
    dns=(${SSL_TRUSTED_DOMAIN})
    dns+=(${SSL_DOMAIN})
    for i in "${!dns[@]}"; do
      echo DNS.$((i+1)) = ${dns[$i]} >> ${SSL_CONFIG}
    done
    if [[ -n ${SSL_TRUSTED_IP} ]]; then
        ip=(${SSL_TRUSTED_IP})
        for i in "${!ip[@]}"; do
          echo IP.$((i+1)) = ${ip[$i]} >> ${SSL_CONFIG}
        done
    fi
fi
echo -e "\033[32m ====> 4. 生成服务SSL KEY ${SSL_KEY} \033[0m"
openssl genrsa -out ${SSL_KEY} ${SSL_SIZE}
echo -e "\033[32m ====> 5. 生成服务SSL CSR ${SSL_CSR} \033[0m"
openssl req -sha256 -new -key ${SSL_KEY} -out ${SSL_CSR} -subj "/C=${CN}/CN=${SSL_DOMAIN}" -config ${SSL_CONFIG}
echo -e "\033[32m ====> 6. 生成服务SSL CERT ${SSL_CERT} \033[0m"
openssl x509 -sha256 -req -in ${SSL_CSR} -CA ${CA_CERT} \
    -CAkey ${CA_KEY} -CAcreateserial -out ${SSL_CERT} \
    -days ${SSL_DATE} -extensions v3_req \
    -extfile ${SSL_CONFIG}
echo -e "\033[32m ====> 7. 证书制作完成 \033[0m"
echo
echo -e "\033[32m ====> 8. 以YAML格式输出结果 \033[0m"
echo "----------------------------------------------------------"
echo "ca_key: |"
cat $CA_KEY | sed 's/^/  /'
echo
echo "ca_cert: |"
cat $CA_CERT | sed 's/^/  /'
echo
echo "ssl_key: |"
cat $SSL_KEY | sed 's/^/  /'
echo
echo "ssl_csr: |"
cat $SSL_CSR | sed 's/^/  /'
echo
echo "ssl_cert: |"
cat $SSL_CERT | sed 's/^/  /'
echo
echo -e "\033[32m ====> 9. 附加CA证书到Cert文件 \033[0m"
cat ${CA_CERT} >> ${SSL_CERT}
echo "ssl_cert: |"
cat $SSL_CERT | sed 's/^/  /'
echo
echo -e "\033[32m ====> 10. 重命名服务证书 \033[0m"
echo "cp ${SSL_DOMAIN}.key tls.key"
cp ${SSL_DOMAIN}.key tls.key
echo "cp ${SSL_DOMAIN}.crt tls.crt"
cp ${SSL_DOMAIN}.crt tls.crt

域名就是默认的：www.rancher.local,我们采用test.rancker.com。

官方地址：https://docs.rancher.cn/docs/rancher2.5/installation/resources/advanced/self-signed-ssl/_index/#41-一键生成-ssl-自签名证书脚本

脚本说明：

  • 复制以上代码另存为key.sh或者其他您喜欢的文件名
  • 脚本参数
--ssl-domain: 生成ssl证书需要的主域名，如不指定则默认为www.rancher.local，如果是ip访问服务，则可忽略；
--ssl-trusted-ip: 一般ssl证书只信任域名的访问请求，有时候需要使用ip去访问server，那么需要给ssl证书添加扩展IP，多个IP用逗号隔开；
--ssl-trusted-domain: 如果想多个域名访问，则添加扩展域名（TRUSTED_DOMAIN）,多个TRUSTED_DOMAIN用逗号隔开；
--ssl-size: ssl加密位数，默认2048；
--ssl-cn: 国家代码(2个字母的代号),默认CN；
使用示例:
./create_self-signed-cert.sh --ssl-domain=www.test.com --ssl-trusted-domain=www.test2.com \
--ssl-trusted-ip=1.1.1.1,2.2.2.2,3.3.3.3 --ssl-size=2048 --ssl-date=3650

4.4 部署rancher

创建 rancher 的 namespace：

$ kubectl --kubeconfig=$KUBECONFIG     create namespace cattle-system

helm 渲染中 --set privateCA=true 用到的证书：

$ kubectl -n cattle-system create secret generic tls-ca --from-file=cacerts.pem

helm 渲染中 --set additionalTrustedCAs=true 用到的证书：

$ cp cacerts.pem ca-additional.pem
$ kubectl -n cattle-system create secret generic tls-ca-additional --from-file=ca-additional.pem

helm 渲染中 --set ingress.tls.source=secret 用到的证书和密钥：

$ kubectl -n cattle-system create secret tls tls-rancher-ingress --cert=tls.crt --key=tls.key

通过Helm将部署模板下载到本地：

$ helm fetch rancher-stable/rancher

当前目录会多一个rancher-2.6.3.tgz

使用以下命令渲染模板：

$ helm template rancher ./rancher-2.6.3.tgz \
     --namespace cattle-system --output-dir . \
     --set privateCA=true \
     --set additionalTrustedCAs=true \
     --set ingress.tls.source=secret \
     --set hostname=test.rancker.com \
     --set useBundledSystemChart=true

在rancher目录中可以看到渲染好的模板文件：

使用kubectl安装rancher：

$ kubectl -n cattle-system apply -R -f ./rancher/templates/

注：可以事在所有的工作节点上将镜像拉取下来，避免拉取镜像时间较长。

如下所示：

$ docker pull rancher/rancher:v2.6.3
$ docker pull rancher/fleet:v0.3.8
$ docker pull rancher/fleet-agent:v0.3.8
$ docker pull rancher/rancher-webhook:v0.2.2
$ docker pull rancher/shell:v0.1.14

若是启动过程中有问题，可以删除pod,再创建一次

$ kubectl -n cattle-system delete -R -f ./rancher/templates/

有些pod需要手动删除

$ kubectl delete <pod名称> -n cattle-system

再次创建：

$ kubectl -n cattle-system apply -R -f ./rancher/templates/

查看安装进度：

$ kubectl -n cattle-system get all -o wide

注：通过上面可以看到rancher已经安装成功了。

4.5 配置hosts

由于域名是自定义的，我们需要在自己的windows上配置hosts：

192.168.0.154 test.rancker.com
192.168.0.152 test.rancker.com
192.168.0.156 test.rancker.com
192.168.0.201 test.rancker.com

windows的hosts路径：C:\Windows\System32\drivers\etc\hosts

浏览器访问：test.rancker.com

五、密码设置

 Rancher2.6密码设置

1) 查看随机生成的密码

$ kubectl get secret --namespace cattle-system bootstrap-secret -o go-template='{{.data.bootstrapPassword|base64decode}}{{"\n"}}'

查看密码如下：

2) 设置特定密码

六、访问验证

6.1 Rancher2.6新特性面面观

首次进入如下：

6.2 设置中文

文章标签：
容器服务Kubernetes版
云解析DNS
域名
容器
Kubernetes
数据安全/隐私保护
Windows
网络安全
相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用，部署一个新的应用用于新的发布，并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程，本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术，这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时，本课程也会向您介绍可以采取的工具、方法和可操作步骤，以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后，您将能够： 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
架构至美
目录
相关文章
XiaoHHSuperme
|
10月前
|
Kubernetes 负载均衡 应用服务中间件
部署Kubernetes(k8s)多主的高可用集群
在CentOS7上安装Kubernetes多主节点的集群，并且安装calico网络插件和metallb。使用keepalived和haproxy进行负载均衡。最后部署应用
XiaoHHSuperme
1779 0
hhzz
|
3月前
|
Kubernetes JavaScript Java
使用kubeadm搭建高可用的K8s集群
使用kubeadm搭建高可用的K8s集群
hhzz
65 0
chen2ha
|
9月前
|
Kubernetes Linux 网络安全
kubeasz 部署高可用 kubernetes 集群
kubeasz 部署高可用 kubernetes 集群
chen2ha
83 0
DevOps和k8s全栈技术
|
10月前
|
Kubernetes Shell 开发工具
源码安装kubernetes高可用集群
源码安装kubernetes高可用集群
DevOps和k8s全栈技术
60 0
DevOps和k8s全栈技术
|
10月前
|
缓存 Kubernetes Linux
安装kubernetes集群-灵活安装k8s各个版本高可用集群（上）
安装kubernetes集群-灵活安装k8s各个版本高可用集群
DevOps和k8s全栈技术
155 0
DevOps和k8s全栈技术
|
10月前
|
Kubernetes 前端开发 Docker
安装kubernetes集群-灵活安装k8s各个版本高可用集群（下）
安装kubernetes集群-灵活安装k8s各个版本高可用集群
DevOps和k8s全栈技术
82 0
冰封三尺非一日之寒
|
Kubernetes 应用服务中间件 开发工具
部署k8s集群
部署k8s集群
冰封三尺非一日之寒
142 1
XiaoHHSuperme
|
11月前
|
Kubernetes NoSQL Redis
Kubernetes(k8s)部署高可用多主多从的Redis集群
Kubernetes(k8s)部署高可用多主多从的Redis集群
XiaoHHSuperme
621 0
星辰醉天河ii-25383
|
域名解析 Kubernetes Unix
Kubernetes 一主多从集群从 0 到 1 部署
Kubernetes 一主多从集群从 0 到 1 部署
星辰醉天河ii-25383
218 0
丶重明
|
Kubernetes 网络安全 Docker
Kubeadm部署高可用K8S集群
Kubeadm部署高可用K8S集群
丶重明
459 0

热门文章

最新文章

  • 1
    阿里云容器服务Ingress设置原IP透传
  • 2
    SpringCloud Alibaba 2021版 nacos 配置中心教程
  • 3
    深度学习模型训练痛点及解决方法
  • 4
    阿里HotFix2.0升级详解——技术运营小二畅谈热修复领域那些事
  • 5
    在SQL Server中创建用户角色及授权(使用SQL语句)
  • 6
    SAE急速部署
  • 7
    雅虎将于3月30日关闭在线存储服务
  • 8
    [JavaScript]两个JavaScript在线调试器
  • 9
    正则表达式Regex
  • 10
    WM Define Strategy for Open Storage(十五.2)
  • 1
    Linux：当极客灵魂遇上网络热梗，一场跨界“笑”果非凡的盛宴！🎉
    16
  • 2
    源社区的兴起：从“代码隐士”到Linux引领的“全球编程嘉年华”
    17
  • 3
    人工智能（AI）和区块链（Blockchain）结合
    14
  • 4
    Linux的诞生：Linus Torvalds的“惊天一敲”与Linux内核的“首秀”
    17
  • 5
    Unix：Linux的“逗趣祖师爷”与它的不凡传承
    8
  • 6
    Bagging应用场景
    11
  • 7
    人工智能在医疗健康领域的革命性影响
    10
  • 8
    网络防御的盾牌：揭秘网络安全漏洞与加密技术的博弈
    14
  • 9
    深度学习在自然语言处理中的应用与挑战
    9
  • 10
    Hive 插入大量数据
    12

    • 相关课程

    更多
  • Serverless 容器从入门到精通: - Serverless Kubernetes
  • Kubernetes极速入门
  • Kubernetes入门
  • 从概念、部署到优化，Kubernetes Ingress 网关的落地实践
  • Kubernetes云原生管理实践
  • 如何发现Kubernetes中服务和工作负载的异常

    • 相关电子书

    更多
  • GitOps：Kubernetes多集群环境下的高效CICD实践
  • 腾讯云多Kubernetes集群高可用运维实践
  • ACK云上大规模Kubernetes集群高可靠性保障实战

    • 相关实验场景

    更多
  • 在ACK Serverless中部署Stable Diffusion应用
  • 使用ACK-Koordinator部署在离线混部应用
  • 使用ACK Serverless容器化部署大语言模型FastChat
  • 通过EDAS部署并访问应用
  • 通过EDAS实现K8s微服务应用的金丝雀发布
  • 基于ACK Serverless轻松部署企业级Stable Diffusion
    • 下一篇
    通义千问API入门教程