k8s集群yaml文件方式迁移

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: k8s集群yaml文件方式迁移

一、安装依赖工具

实际就是导出数据为json,通过jq删除一些不需要的字段,然后再通过yq转换为yaml格式(不安装直接使用json格式也可以安装,这里主要为例方便查看),这么麻烦主要是不知道导出yaml文件时如何过滤一些不需要的字段,如果哪位知道可以指教一下。

1

2

3

4

5

6

[root@k8s-master test]# yum install jq -y  #解析json

[root@k8s-master ~]# wget https://github.com/mikefarah/yq/releases/download/v4.16.2/yq_linux_amd64 #将json转换为yaml  最新下载地址:https://github.com/mikefarah/yq/releases

[root@k8s-master ~]# chmod +x yq_linux_amd64

[root@k8s-master ~]# mv yq_linux_amd64 /usr/bin/yq

[root@k8s-master ~]# yq --version

yq (https://github.com/mikefarah/yq/) version 4.16.2

二、创建脚本  

V1.13

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

#!/bin/bash

 

DATA_TIME=`date +%Y%m%d%H%M%S`  #每次创建根据时间创建

BACKUP_DIR=/tmp/k8s-backup-restore #备份的目录

 

NS_LIST='change-battery-demo nginx-ingress-port tools tsp' # 指定需要备份的namespaces,也可以使用kubectl获取所有,按需

#CONFIG_TYPE="service deploy configmap secret job cronjob replicaset daemonset statefulset"

CONFIG_TYPE="service deploy ingress" # 指定namespaces下需要备份的资源类型,按需

 

for ns in ${NS_LIST};do

  BACKUP_DIR_DATE=${BACKUP_DIR}/${ns}/${DATA_TIME}  #备份目录,按namespace根据时间分别创建

  mkdir -p ${BACKUP_DIR_DATE} && cd ${BACKUP_DIR_DATE}  #创建备份目录

  for type in ${CONFIG_TYPE};do

    item_num=$(kubectl -n ${ns} get ${type} 2>/dev/null|wc -l)  #过滤资源类型为空

    if [ ${item_num} -lt 1 ];then continue;fi #包含NAME行,所以如果存在资源item_num不小于2

    ITEM_LIST=$(kubectl -n ${ns} get ${type} | awk '{print $1}' grep -v 'NAME')

    for item in ${ITEM_LIST};do

       file_name=${BACKUP_DIR_DATE}/${type}_${item}.yaml 

       kubectl -n ${ns} get ${type} ${item} -o=json | jq '. |

    del(

        .spec.clusterIP,

        .metadata.uid,

        .metadata.selfLink,

        .metadata.resourceVersion,

        .metadata.creationTimestamp,

        .metadata.generation,

        .metadata.annotations,

        .spec.cephfs,

        .spec.volumeName,

        .status,

        .spec.template.metadata.creationTimestamp,

        .spec.template.spec.securityContext,

        .spec.template.spec.dnsPolicy,

        .spec.template.spec.terminationGracePeriodSeconds,

        .spec.template.spec.restartPolicy

    )'|yq eval -P > ${file_name}  #del中是要删除的字段

 

    done  

  done

done

V1.22

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

#!/bin/bash

 

DATA_TIME=`date +%Y-%m-%d-%H-%M-%S`  #每次创建根据时间创建

BACKUP_DIR_BASE=/mnt/k8s-backup-restore #备份的目录

CURRENT_BACKUP_DIR=${BACKUP_DIR_BASE}/${DATA_TIME}  #备份的目录

 

NS_LIST=$(kubectl get ns|grep 'Active'|egrep -v 'ahas|ahas-sentinel-pilot|arms-pilot|arms-prom|edas-oam-system|kube-public|kube-node-lease|kube-system'|awk '{print $1}')  # 指定需要备份的namespaces,也可以使用kubectl获取所有,按需

#NS_LIST="tools"

#CONFIG_TYPE="service deploy configmap secret job cronjob replicaset daemonset statefulset"

CONFIG_TYPE="svc deploy ingress cm secret statefulsets"   # 指定namespaces下需要备份的资源类型,按需

CURRENT_DIR=$(cd $(dirname $0); pwd)

 

 

ingress_set="

    del(

        .metadata.uid,

        .metadata.resourceVersion,

        .metadata.creationTimestamp,

        .metadata.generation,

        .status

    )

"

 

cm_set="

    del(

        .metadata.uid,

        .metadata.annotations,

        .metadata.resourceVersion,

        .metadata.creationTimestamp

    )

"

secret_set="

    del(

        .metadata.uid,

        .metadata.annotations,

        .metadata.resourceVersion,

        .metadata.creationTimestamp

    )

"

svc_set="

    del(

        .metadata.uid,

        .metadata.resourceVersion,

        .metadata.creationTimestamp,

        .metadata.annotations,

        .status,

        .spec.clusterIP,

        .spec.clusterIPs,

        .spec.internalTrafficPolicy,

        .spec.ipFamilies,

        .spec.ipFamilyPolicy,

        .spec.sessionAffinity

    )

"

 

deploy_set="

    del(

        .metadata.uid,

        .metadata.generation,

        .metadata.resourceVersion,

        .metadata.creationTimestamp,

        .metadata.annotations,

        .status,

        .spec.progressDeadlineSeconds,

        .spec.revisionHistoryLimit,

        .spec.strategy,

        .spec.template.metadata.annotations,

        .spec.template.metadata.creationTimestamp

    )

"

statefulset_set="

    del(

        .metadata.generation,

        .metadata.uid,

        .metadata.resourceVersion,

        .metadata.creationTimestamp,

        .spec.podManagementPolicy,

        .spec.revisionHistoryLimit,

        .spec.template.metadata.creationTimestamp,

        .spec.template.metadata.annotations,

        .spec.template.spec.restartPolicy,

        .spec.template.spec.schedulerName,

        .spec.template.spec.securityContext,

        .spec.updateStrategy,

        .status

    )

"

 

function backup_k8s_to_yaml(){

for ns in ${NS_LIST};do

  BACKUP_DIR_DATE=${CURRENT_BACKUP_DIR}/${ns}  #备份目录,按namespace根据时间分别创建

  mkdir -p ${BACKUP_DIR_DATE} && cd ${BACKUP_DIR_DATE}  #创建备份目录

  for type in ${CONFIG_TYPE};do

    item_num=$(kubectl -n ${ns} get ${type} 2>/dev/null|wc -l)  #过滤资源类型为空

    if [ ${item_num} -lt 1 ];then continue;fi #包含NAME行,所以如果存在资源item_num不小于2

    ITEM_LIST=$(kubectl -n ${ns} get ${type} | awk '{print $1}' grep -v 'NAME')

    for item in ${ITEM_LIST};do

       file_name=${BACKUP_DIR_DATE}/${type}_${item}.yaml

       case ${typein

         "cm")

             set_info=${cm_set}

             ;;

         "svc")

             set_info=${svc_set}

             ;;

         "secret")

             set_info=${secret_set}

             ;;

         "ingress")

         set_info=${ingress_set}

             ;;

           #kubectl -n ${ns} get ${type} ${item} -o=json | jq '. |${ingress_set}'|yq eval -P > ${file_name};;

         "deploy")

            set_info=${deploy_set}

            ;;

         "statefulsets")

            set_info=${statefulset_set}

            ;;

      esac

       kubectl -n ${ns} get ${type} ${item} -o=json | jq --args "${set_info}" '.|${set_info}'| yq eval -P > ${file_name}

       [[ $? -ne 0 ]] && exit

    done

  done

done

}

 

 

function archive_and_upload(){

 

archive_file_name=k8s-backup-${DATA_TIME}.tar.gz

cd ${BACKUP_DIR_BASE} && tar -jcf ${archive_file_name}  ${DATA_TIME} &> /dev/null

if [[ -s ${archive_file_name} ]];then

   /usr/bin/python3 ${CURRENT_DIR}/oss_uoload.py  k8s_backup/${archive_file_name}  ${BACKUP_DIR_BASE}/${archive_file_name}

fi

}

 

 

function main(){

  backup_k8s_to_yaml;

  archive_and_upload;

}

 

main;

上传到OSS

1

2

3

4

5

6

7

8

9

10

11

#!/usr/bin/python3

# -*- coding: utf-8 -*-

import oss2

import os

import sys

oss_file_name=sys.argv[1]

local_file_name=sys.argv[2]

auth = oss2.Auth('LTAI5tKDLc6S2pkrcqyZHEh8''OJybPiQpyeS22tlKpmgaex1xxxxxx')

bucket = oss2.Bucket(auth, 'https://oss-cn-hangzhou.aliyuncs.com''mqops-backup')

 

bucket.put_object_from_file(filename=local_file_name,key=oss_file_name)

脚本生成的路径树如下

1

2

3

4

5

6

7

8

9

root@tsp-prod-ansible:~/script_dir# tree -L 3  /mnt

/mnt/

└── k8s-backup-restore

    ├── 2022-11-10-14-24-01

    │   ├── bmp-prd

    │   ├── change-battery-demo

    │   ├── default

    │   ├── mk1-prod

    │   ├── mk1-website

参考:https://codeantenna.com/a/hyV7eyLUSD

相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
1月前
|
缓存 容灾 网络协议
ACK One多集群网关:实现高效容灾方案
ACK One多集群网关可以帮助您快速构建同城跨AZ多活容灾系统、混合云同城跨AZ多活容灾系统,以及异地容灾系统。
|
2月前
|
Kubernetes Ubuntu 网络安全
ubuntu使用kubeadm搭建k8s集群
通过以上步骤,您可以在 Ubuntu 系统上使用 kubeadm 成功搭建一个 Kubernetes 集群。本文详细介绍了从环境准备、安装 Kubernetes 组件、初始化集群到管理和使用集群的完整过程,希望对您有所帮助。在实际应用中,您可以根据具体需求调整配置,进一步优化集群性能和安全性。
148 12
|
2月前
|
Prometheus Kubernetes 监控
OpenAI故障复盘 - 阿里云容器服务与可观测产品如何保障大规模K8s集群稳定性
聚焦近日OpenAI的大规模K8s集群故障,介绍阿里云容器服务与可观测团队在大规模K8s场景下我们的建设与沉淀。以及分享对类似故障问题的应对方案:包括在K8s和Prometheus的高可用架构设计方面、事前事后的稳定性保障体系方面。
|
2月前
|
Kubernetes 网络协议 应用服务中间件
Kubernetes Ingress:灵活的集群外部网络访问的利器
《Kubernetes Ingress:集群外部访问的利器-打造灵活的集群网络》介绍了如何通过Ingress实现Kubernetes集群的外部访问。前提条件是已拥有Kubernetes集群并安装了kubectl工具。文章详细讲解了Ingress的基本组成(Ingress Controller和资源对象),选择合适的版本,以及具体的安装步骤,如下载配置文件、部署Nginx Ingress Controller等。此外,还提供了常见问题的解决方案,例如镜像下载失败的应对措施。最后,通过部署示例应用展示了Ingress的实际使用方法。
87 2
|
2月前
|
存储 Kubernetes 关系型数据库
阿里云ACK备份中心,K8s集群业务应用数据的一站式灾备方案
本文源自2024云栖大会苏雅诗的演讲,探讨了K8s集群业务为何需要灾备及其重要性。文中强调了集群与业务高可用配置对稳定性的重要性,并指出人为误操作等风险,建议实施周期性和特定情况下的灾备措施。针对容器化业务,提出了灾备的新特性与需求,包括工作负载为核心、云资源信息的备份,以及有状态应用的数据保护。介绍了ACK推出的备份中心解决方案,支持命名空间、标签、资源类型等维度的备份,并具备存储卷数据保护功能,能够满足GitOps流程企业的特定需求。此外,还详细描述了备份中心的使用流程、控制台展示、灾备难点及解决方案等内容,展示了备份中心如何有效应对K8s集群资源和存储卷数据的灾备挑战。
|
3月前
|
Kubernetes 监控 Cloud Native
Kubernetes集群的高可用性与伸缩性实践
Kubernetes集群的高可用性与伸缩性实践
99 1
|
4月前
|
JSON Kubernetes 容灾
ACK One应用分发上线:高效管理多集群应用
ACK One应用分发上线,主要介绍了新能力的使用场景
|
4月前
|
Kubernetes 持续交付 开发工具
ACK One GitOps:ApplicationSet UI简化多集群GitOps应用管理
ACK One GitOps新发布了多集群应用控制台,支持管理Argo CD ApplicationSet,提升大规模应用和集群的多集群GitOps应用分发管理体验。
|
4月前
|
Kubernetes Cloud Native 云计算
云原生之旅:Kubernetes 集群的搭建与实践
【8月更文挑战第67天】在云原生技术日益成为IT行业焦点的今天,掌握Kubernetes已成为每个软件工程师必备的技能。本文将通过浅显易懂的语言和实际代码示例,引导你从零开始搭建一个Kubernetes集群,并探索其核心概念。无论你是初学者还是希望巩固知识的开发者,这篇文章都将为你打开一扇通往云原生世界的大门。
171 17
|
4月前
|
Kubernetes Ubuntu Linux
Centos7 搭建 kubernetes集群
本文介绍了如何搭建一个三节点的Kubernetes集群,包括一个主节点和两个工作节点。各节点运行CentOS 7系统,最低配置为2核CPU、2GB内存和15GB硬盘。详细步骤包括环境配置、安装Docker、关闭防火墙和SELinux、禁用交换分区、安装kubeadm、kubelet、kubectl,以及初始化Kubernetes集群和安装网络插件Calico或Flannel。
309 4

热门文章

最新文章