AI 助理
备案控制台
开发者社区 云原生 文章 正文

Helm3部署Rancher2.6.3高可用集群

2023-09-06 519
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Helm3部署Rancher2.6.3高可用集群，通过创建 Kubernetes Secret 使用自签证书。

一、前言


在企业生产环境，k8s高可用是一个必不可少的特性，其中最通用的场景就是如何在 k8s 集群宕机一个节点的情况下保障服务依旧可用。部署高可用k8s集群对于企业级云平台来说是一个根本性的原则，容错、服务可用和数据安全是高可用基础设施的关键。本文是在青云上利用青云LB搭建k8s高可用集群的过程中遇到的各种问题的梳理和总结。Rancher是一个开源的企业级多集群Kubernetes管理平台，实现了Kubernetes集群在混合云+本地数据中心的集中部署与管理，以确保集群的安全性，加速企业数字化转型。通过Rancher企业再也不必自己使用一系列的开源软件去从头搭建容器服务平台。Rancher提供了在生产环境中使用的管理Docker和Kubernetes的全栈化容器部署与管理平台，Rancher现在已被SUSE收购了。

Helm是Kubernetes的一个包管理工具，用来简化Kubernetes应用的部署和管理。

其实我们公司使用Rancher已经有一两年的时间了，之前的版本是2.3，现在应该是升级到了2.5.8，当然了最新的版本应该已经到了2.6.8了，至于为什么没有升级到2.6版本里？主要是基于以下几点考虑的。

  • 生产环境中那肯定是“稳”当头，新版本有很多不确定的因素。
  • 据说Rancher2.6版本比较难用，界面有很大的改变。

正所谓“我不入地狱,谁入地狱？”，所以，我们先来排一排Rancher2.6版本。

二、部署说明


首先你得有个高可用的k8s集群，若是还不会搭建k8s集群的可以看我历史文章“基于青云LB搭建高可用的k8s集群”。通过kubectl get nodes检查k8s集群健康状态：

$ kubectl get nodes
NAME          STATUS   ROLES                  AGE   VERSION
k8s-master1   Ready    control-plane,master   9d    v1.20.7
k8s-master2   Ready    control-plane,master   9d    v1.20.7
k8s-node1     Ready    worker                 9d    v1.20.7
k8s-node2     Ready    worker                 8d    v1.20.7

注：我这是2个master节点，生产中至少需要3个节点的master节点。

三、安装Helm3


官方下载地址

helm下载地址:https://github.com/helm/helm/releases
helm中文文档:https://helm.sh/zh/docs/topics/version_skew/

3.1 通过wget方式直接拉取

$ wget -c https://get.helm.sh/helm-v3.7.2-linux-amd64.tar.gz
$ tar zxvf helm-v3.7.2-linux-amd64.tar.gz
$ mv ./linux-amd64/helm /usr/bin/
$ helm version
version.BuildInfo{Version:"v3.7.2", GitCommit:"663a896f4a815053445eec4153677ddc24a0a361", GitTreeState:"clean", GoVersion:"go1.16.10"}

注：安装helm要查看支持的k8s版本，提前查看Helm版本支持策略：https://helm.sh/zh/docs/topics/version_skew/

如下图所示：

3.2 通过GitHub直接下载

helm下载地址:https://github.com/helm/helm/releases
$ tar zxvf helm-v3.7.2-linux-amd64.tar.gz
$ mv ./linux-amd64/helm /usr/bin/
$ helm version
version.BuildInfo{Version:"v3.7.2", GitCommit:"663a896f4a815053445eec4153677ddc24a0a361", GitTreeState:"clean", GoVersion:"go1.16.10"}

四、Helm3部署Rancher2.6.3集群

以下操作全部都是在k8s-master1服务器上执行。

4.1 配置国内存放chart仓库的地址

推荐使用阿里云仓库（https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts）。

##添加阿里云的 chart 仓库
$ helm repo add aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts
##添加 bitnami 的 chart 仓库
$ helm repo add bitnami https://charts.bitnami.com/bitnami
##添加Rancher chart仓库地址
$ helm repo add rancher-stable https://releases.rancher.com/server-charts/stable
##更新 chart 仓库 
$ helm repo update

注：Rancher chart仓库推荐stable。latest 最新：推荐用于试用最新功能stable 稳定：推荐用于生产环境 Alpha：即将发布的实验性预览

官网地址：https://rancher.com/docs/rancher/v2.6/en/installation/other-installation-methods/air-gap/install-rancher/

4.2 选择 SSL 配置

Rancher Server 默认设计为安全的，需要 SSL/TLS 配置。当 Rancher 安装在 Kubernetes 集群上时，有两个推荐的证书来源选项。如下所示：

我们使用自己的证书文件，安装时通过ingress.tls.source=secret来标识。

4.3生成自签证书

$ bash  key.sh --ssl-domain=test.rancker.com --ssl-trusted-ip=192.168.0.152,192.168.0.154,192.168.0.156,192.168.0.201 --ssl-size=2048 --ssl-date=3650

test.rancker.com是自定义的测试域名。

key.sh内容如下：

#!/bin/bash -e
help ()
{
    echo  ' ================================================================ '
    echo  ' --ssl-domain: 生成ssl证书需要的主域名，如不指定则默认为www.rancher.local，如果是ip访问服务，则可忽略；'
    echo  ' --ssl-trusted-ip: 一般ssl证书只信任域名的访问请求，有时候需要使用ip去访问server，那么需要给ssl证书添加扩展IP，多个IP用逗号隔开；'
    echo  ' --ssl-trusted-domain: 如果想多个域名访问，则添加扩展域名（SSL_TRUSTED_DOMAIN）,多个扩展域名用逗号隔开；'
    echo  ' --ssl-size: ssl加密位数，默认2048；'
    echo  ' --ssl-date: ssl有效期，默认10年；'
    echo  ' --ca-date: ca有效期，默认10年；'
    echo  ' --ssl-cn: 国家代码(2个字母的代号),默认CN;'
    echo  ' 使用示例:'
    echo  ' ./create_self-signed-cert.sh --ssl-domain=www.test.com --ssl-trusted-domain=www.test2.com \ '
    echo  ' --ssl-trusted-ip=1.1.1.1,2.2.2.2,3.3.3.3 --ssl-size=2048 --ssl-date=3650'
    echo  ' ================================================================'
}
case "$1" in
    -h|--help) help; exit;;
esac
if [[ $1 == '' ]];then
    help;
    exit;
fi
CMDOPTS="$*"
for OPTS in $CMDOPTS;
do
    key=$(echo ${OPTS} | awk -F"=" '{print $1}' )
    value=$(echo ${OPTS} | awk -F"=" '{print $2}' )
    case "$key" in
        --ssl-domain) SSL_DOMAIN=$value ;;
        --ssl-trusted-ip) SSL_TRUSTED_IP=$value ;;
        --ssl-trusted-domain) SSL_TRUSTED_DOMAIN=$value ;;
        --ssl-size) SSL_SIZE=$value ;;
        --ssl-date) SSL_DATE=$value ;;
        --ca-date) CA_DATE=$value ;;
        --ssl-cn) CN=$value ;;
    esac
done
# CA相关配置
CA_DATE=${CA_DATE:-3650}
CA_KEY=${CA_KEY:-cakey.pem}
CA_CERT=${CA_CERT:-cacerts.pem}
CA_DOMAIN=cattle-ca
# ssl相关配置
SSL_CONFIG=${SSL_CONFIG:-$PWD/openssl.cnf}
SSL_DOMAIN=${SSL_DOMAIN:-'www.rancher.local'}
SSL_DATE=${SSL_DATE:-3650}
SSL_SIZE=${SSL_SIZE:-2048}
## 国家代码(2个字母的代号),默认CN;
CN=${CN:-CN}
SSL_KEY=$SSL_DOMAIN.key
SSL_CSR=$SSL_DOMAIN.csr
SSL_CERT=$SSL_DOMAIN.crt
echo -e "\033[32m ---------------------------- \033[0m"
echo -e "\033[32m       | 生成 SSL Cert |       \033[0m"
echo -e "\033[32m ---------------------------- \033[0m"
if [[ -e ./${CA_KEY} ]]; then
    echo -e "\033[32m ====> 1. 发现已存在CA私钥，备份"${CA_KEY}"为"${CA_KEY}"-bak，然后重新创建 \033[0m"
    mv ${CA_KEY} "${CA_KEY}"-bak
    openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
else
    echo -e "\033[32m ====> 1. 生成新的CA私钥 ${CA_KEY} \033[0m"
    openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
fi
if [[ -e ./${CA_CERT} ]]; then
    echo -e "\033[32m ====> 2. 发现已存在CA证书，先备份"${CA_CERT}"为"${CA_CERT}"-bak，然后重新创建 \033[0m"
    mv ${CA_CERT} "${CA_CERT}"-bak
    openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
else
    echo -e "\033[32m ====> 2. 生成新的CA证书 ${CA_CERT} \033[0m"
    openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
fi
echo -e "\033[32m ====> 3. 生成Openssl配置文件 ${SSL_CONFIG} \033[0m"
cat > ${SSL_CONFIG} <<EOM
[req]
req_extensions = v3_req
distinguished_name = req_distinguished_name
[req_distinguished_name]
[ v3_req ]
basicConstraints = CA:FALSE
keyUsage = nonRepudiation, digitalSignature, keyEncipherment
extendedKeyUsage = clientAuth, serverAuth
EOM
if [[ -n ${SSL_TRUSTED_IP} || -n ${SSL_TRUSTED_DOMAIN} ]]; then
    cat >> ${SSL_CONFIG} <<EOM
subjectAltName = @alt_names
[alt_names]
EOM
    IFS=","
    dns=(${SSL_TRUSTED_DOMAIN})
    dns+=(${SSL_DOMAIN})
    for i in "${!dns[@]}"; do
      echo DNS.$((i+1)) = ${dns[$i]} >> ${SSL_CONFIG}
    done
    if [[ -n ${SSL_TRUSTED_IP} ]]; then
        ip=(${SSL_TRUSTED_IP})
        for i in "${!ip[@]}"; do
          echo IP.$((i+1)) = ${ip[$i]} >> ${SSL_CONFIG}
        done
    fi
fi
echo -e "\033[32m ====> 4. 生成服务SSL KEY ${SSL_KEY} \033[0m"
openssl genrsa -out ${SSL_KEY} ${SSL_SIZE}
echo -e "\033[32m ====> 5. 生成服务SSL CSR ${SSL_CSR} \033[0m"
openssl req -sha256 -new -key ${SSL_KEY} -out ${SSL_CSR} -subj "/C=${CN}/CN=${SSL_DOMAIN}" -config ${SSL_CONFIG}
echo -e "\033[32m ====> 6. 生成服务SSL CERT ${SSL_CERT} \033[0m"
openssl x509 -sha256 -req -in ${SSL_CSR} -CA ${CA_CERT} \
    -CAkey ${CA_KEY} -CAcreateserial -out ${SSL_CERT} \
    -days ${SSL_DATE} -extensions v3_req \
    -extfile ${SSL_CONFIG}
echo -e "\033[32m ====> 7. 证书制作完成 \033[0m"
echo
echo -e "\033[32m ====> 8. 以YAML格式输出结果 \033[0m"
echo "----------------------------------------------------------"
echo "ca_key: |"
cat $CA_KEY | sed 's/^/  /'
echo
echo "ca_cert: |"
cat $CA_CERT | sed 's/^/  /'
echo
echo "ssl_key: |"
cat $SSL_KEY | sed 's/^/  /'
echo
echo "ssl_csr: |"
cat $SSL_CSR | sed 's/^/  /'
echo
echo "ssl_cert: |"
cat $SSL_CERT | sed 's/^/  /'
echo
echo -e "\033[32m ====> 9. 附加CA证书到Cert文件 \033[0m"
cat ${CA_CERT} >> ${SSL_CERT}
echo "ssl_cert: |"
cat $SSL_CERT | sed 's/^/  /'
echo
echo -e "\033[32m ====> 10. 重命名服务证书 \033[0m"
echo "cp ${SSL_DOMAIN}.key tls.key"
cp ${SSL_DOMAIN}.key tls.key
echo "cp ${SSL_DOMAIN}.crt tls.crt"
cp ${SSL_DOMAIN}.crt tls.crt

域名就是默认的：www.rancher.local,我们采用test.rancker.com。

官方地址：https://docs.rancher.cn/docs/rancher2.5/installation/resources/advanced/self-signed-ssl/_index/#41-一键生成-ssl-自签名证书脚本

脚本说明：

  • 复制以上代码另存为key.sh或者其他您喜欢的文件名
  • 脚本参数
--ssl-domain: 生成ssl证书需要的主域名，如不指定则默认为www.rancher.local，如果是ip访问服务，则可忽略；
--ssl-trusted-ip: 一般ssl证书只信任域名的访问请求，有时候需要使用ip去访问server，那么需要给ssl证书添加扩展IP，多个IP用逗号隔开；
--ssl-trusted-domain: 如果想多个域名访问，则添加扩展域名（TRUSTED_DOMAIN）,多个TRUSTED_DOMAIN用逗号隔开；
--ssl-size: ssl加密位数，默认2048；
--ssl-cn: 国家代码(2个字母的代号),默认CN；
使用示例:
./create_self-signed-cert.sh --ssl-domain=www.test.com --ssl-trusted-domain=www.test2.com \
--ssl-trusted-ip=1.1.1.1,2.2.2.2,3.3.3.3 --ssl-size=2048 --ssl-date=3650

4.4 部署rancher

创建 rancher 的 namespace：

$ kubectl --kubeconfig=$KUBECONFIG     create namespace cattle-system

helm 渲染中 --set privateCA=true 用到的证书：

$ kubectl -n cattle-system create secret generic tls-ca --from-file=cacerts.pem

helm 渲染中 --set additionalTrustedCAs=true 用到的证书：

$ cp cacerts.pem ca-additional.pem
$ kubectl -n cattle-system create secret generic tls-ca-additional --from-file=ca-additional.pem

helm 渲染中 --set ingress.tls.source=secret 用到的证书和密钥：

$ kubectl -n cattle-system create secret tls tls-rancher-ingress --cert=tls.crt --key=tls.key

通过Helm将部署模板下载到本地：

$ helm fetch rancher-stable/rancher

当前目录会多一个rancher-2.6.3.tgz

使用以下命令渲染模板：

$ helm template rancher ./rancher-2.6.3.tgz \
     --namespace cattle-system --output-dir . \
     --set privateCA=true \
     --set additionalTrustedCAs=true \
     --set ingress.tls.source=secret \
     --set hostname=test.rancker.com \
     --set useBundledSystemChart=true

在rancher目录中可以看到渲染好的模板文件：

使用kubectl安装rancher：

$ kubectl -n cattle-system apply -R -f ./rancher/templates/

注：可以事在所有的工作节点上将镜像拉取下来，避免拉取镜像时间较长。

如下所示：

$ docker pull rancher/rancher:v2.6.3
$ docker pull rancher/fleet:v0.3.8
$ docker pull rancher/fleet-agent:v0.3.8
$ docker pull rancher/rancher-webhook:v0.2.2
$ docker pull rancher/shell:v0.1.14

若是启动过程中有问题，可以删除pod,再创建一次

$ kubectl -n cattle-system delete -R -f ./rancher/templates/

有些pod需要手动删除

$ kubectl delete <pod名称> -n cattle-system

再次创建：

$ kubectl -n cattle-system apply -R -f ./rancher/templates/

查看安装进度：

$ kubectl -n cattle-system get all -o wide

注：通过上面可以看到rancher已经安装成功了。

4.5 配置hosts

由于域名是自定义的，我们需要在自己的windows上配置hosts：

192.168.0.154 test.rancker.com
192.168.0.152 test.rancker.com
192.168.0.156 test.rancker.com
192.168.0.201 test.rancker.com

windows的hosts路径：C:\Windows\System32\drivers\etc\hosts

浏览器访问：test.rancker.com

五、密码设置

 Rancher2.6密码设置

1) 查看随机生成的密码

$ kubectl get secret --namespace cattle-system bootstrap-secret -o go-template='{{.data.bootstrapPassword|base64decode}}{{"\n"}}'

查看密码如下：

2) 设置特定密码

六、访问验证

6.1 Rancher2.6新特性面面观

首次进入如下：

6.2 设置中文

文章标签：
容器服务Kubernetes版
云解析DNS
域名与网站
容器
Kubernetes
数据安全/隐私保护
Windows
网络安全
相关实践学习
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化，容器是完全使用沙箱机制，相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用，获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道，以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中，我们将全面的讲解Docker技术栈，从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。 &nbsp; &nbsp; 相关的阿里云产品：容器服务 ACK 容器服务 Kubernetes 版（简称 ACK）提供高性能可伸缩的容器应用管理能力，支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力，打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
架构至美
目录
相关文章
wljslmz
|
负载均衡 Ubuntu 应用服务中间件
如何在 Ubuntu 22.04 上安装、配置、使用 Nginx？
【2月更文挑战第3天】
wljslmz
24319 4
如何在 Ubuntu 22.04 上安装、配置、使用 Nginx？
阿甘兄
|
安全 Linux 网络安全
组网神器WireGuard安装与配置教程（超详细）
组网神器WireGuard安装与配置教程（超详细）
阿甘兄
36658 2
迪科斯彻
|
域名解析 Ubuntu Linux
Docker 镜像基本操作
本文介绍 Docker 镜像最常用的三个基本操作 login、pull、push以及如何登录子账户。通过认识镜像的基本操作，您可以更熟练地使用容器镜像服务 ACR。
迪科斯彻
8117 0
Docker 镜像基本操作
陈皮的JavaLib
|
jenkins Java Shell
使用 Docker 安装 Jenkins 并实现项目自动化部署
Jenkins 是一款开源的持续集成（DI）工具，广泛用于项目开发，能提供自动构建，测试，部署等功能。作为领先的开源自动化服务器，Jenkins 提供了数百个插件来支持构建、部署和自动化任何项目。
陈皮的JavaLib
35266 3
使用 Docker 安装 Jenkins 并实现项目自动化部署
上云活动指导
|
缓存 Linux 开发工具
CentOS 7- 配置阿里镜像源
阿里镜像官方地址http://mirrors.aliyun.com/ 1、点击官方提供的相应系统的帮助 ：2、查看不同版本的系统操作： 下载源1、安装wget yum install -y wget2、下载CentOS 7的repo文件wget -O /etc/yum.
上云活动指导
255412 0
云上的喵酱
|
8月前
|
存储 前端开发 数据可视化
Grafana Loki，轻量级日志系统
本文介绍了基于Grafana、Loki和Alloy构建的轻量级日志系统。Loki是一个由Grafana Labs开发的日志聚合系统，具备高可用性和多租户支持，专注于日志而非指标，通过标签索引而非内容索引实现高效存储。Alloy则是用于收集和转发日志至Loki的强大工具。文章详细描述了系统的架构、组件及其工作流程，并提供了快速搭建指南，包括准备步骤、部署命令及验证方法。此外，还展示了如何使用Grafana查看日志，以及一些基本的LogQL查询示例。最后，作者探讨了Loki架构的独特之处，提出了“巨型单体模块化”的概念，即一个应用既可单体部署也可分布式部署，整体协同实现全部功能。
云上的喵酱
2570 71
Grafana Loki，轻量级日志系统
优毕网
|
7月前
|
前端开发 Java 关系型数据库
基于DeepSeek的智慧医药系统源码分享
智慧医药系统基于HTML前端、Java后端，使用Springboot、DeepSeek和MySQL技术栈开发。系统分为游客、用户和管理员三个角色，提供疾病与药品查询、智能问诊、个人资料管理、反馈提交等功能。游客可进行搜索查询，用户能修改资料及咨询智能医生，管理员则负责疾病、药品和反馈管理。项目含视频教程，安装依赖环境包括Java、Maven、IntelliJ IDEA和MySQL。源码地址：gitee.com/beginroad/bishe。
优毕网
172 7
基于DeepSeek的智慧医药系统源码分享
风水道人
|
存储 Kubernetes 安全
第四章 Helm仓库介绍配置国内仓库地址
第四章 Helm仓库介绍配置国内仓库地址
风水道人
5481 2
尹正杰
|
存储 Kubernetes 应用服务中间件
Ingress-Nginx使用指南上篇
关于Ingress-Nginx在Kubernetes中的使用指南，涵盖了从基础安装到高级特性配置的详细步骤和实战案例。
尹正杰
4395 3
Ingress-Nginx使用指南上篇
大数据流动
|
Kubernetes 应用服务中间件 nginx
史上最全干货！Kubernetes 原理+实战总结（全文6万字，90张图，100个知识点）（上）
史上最全干货！Kubernetes 原理+实战总结（全文6万字，90张图，100个知识点）
大数据流动
51549 30