k8s集群yaml文件方式迁移

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
容器服务 Serverless 版 ACK Serverless,952元额度 多规格
简介: k8s集群yaml文件方式迁移

一、安装依赖工具

实际就是导出数据为json,通过jq删除一些不需要的字段,然后再通过yq转换为yaml格式(不安装直接使用json格式也可以安装,这里主要为例方便查看),这么麻烦主要是不知道导出yaml文件时如何过滤一些不需要的字段,如果哪位知道可以指教一下。

1

2

3

4

5

6

[root@k8s-master test]# yum install jq -y  #解析json

[root@k8s-master ~]# wget https://github.com/mikefarah/yq/releases/download/v4.16.2/yq_linux_amd64 #将json转换为yaml  最新下载地址:https://github.com/mikefarah/yq/releases

[root@k8s-master ~]# chmod +x yq_linux_amd64

[root@k8s-master ~]# mv yq_linux_amd64 /usr/bin/yq

[root@k8s-master ~]# yq --version

yq (https://github.com/mikefarah/yq/) version 4.16.2

二、创建脚本  

V1.13

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

#!/bin/bash

 

DATA_TIME=`date +%Y%m%d%H%M%S`  #每次创建根据时间创建

BACKUP_DIR=/tmp/k8s-backup-restore #备份的目录

 

NS_LIST='change-battery-demo nginx-ingress-port tools tsp' # 指定需要备份的namespaces,也可以使用kubectl获取所有,按需

#CONFIG_TYPE="service deploy configmap secret job cronjob replicaset daemonset statefulset"

CONFIG_TYPE="service deploy ingress" # 指定namespaces下需要备份的资源类型,按需

 

for ns in ${NS_LIST};do

  BACKUP_DIR_DATE=${BACKUP_DIR}/${ns}/${DATA_TIME}  #备份目录,按namespace根据时间分别创建

  mkdir -p ${BACKUP_DIR_DATE} && cd ${BACKUP_DIR_DATE}  #创建备份目录

  for type in ${CONFIG_TYPE};do

    item_num=$(kubectl -n ${ns} get ${type} 2>/dev/null|wc -l)  #过滤资源类型为空

    if [ ${item_num} -lt 1 ];then continue;fi #包含NAME行,所以如果存在资源item_num不小于2

    ITEM_LIST=$(kubectl -n ${ns} get ${type} | awk '{print $1}' grep -v 'NAME')

    for item in ${ITEM_LIST};do

       file_name=${BACKUP_DIR_DATE}/${type}_${item}.yaml 

       kubectl -n ${ns} get ${type} ${item} -o=json | jq '. |

    del(

        .spec.clusterIP,

        .metadata.uid,

        .metadata.selfLink,

        .metadata.resourceVersion,

        .metadata.creationTimestamp,

        .metadata.generation,

        .metadata.annotations,

        .spec.cephfs,

        .spec.volumeName,

        .status,

        .spec.template.metadata.creationTimestamp,

        .spec.template.spec.securityContext,

        .spec.template.spec.dnsPolicy,

        .spec.template.spec.terminationGracePeriodSeconds,

        .spec.template.spec.restartPolicy

    )'|yq eval -P > ${file_name}  #del中是要删除的字段

 

    done  

  done

done

V1.22

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

#!/bin/bash

 

DATA_TIME=`date +%Y-%m-%d-%H-%M-%S`  #每次创建根据时间创建

BACKUP_DIR_BASE=/mnt/k8s-backup-restore #备份的目录

CURRENT_BACKUP_DIR=${BACKUP_DIR_BASE}/${DATA_TIME}  #备份的目录

 

NS_LIST=$(kubectl get ns|grep 'Active'|egrep -v 'ahas|ahas-sentinel-pilot|arms-pilot|arms-prom|edas-oam-system|kube-public|kube-node-lease|kube-system'|awk '{print $1}')  # 指定需要备份的namespaces,也可以使用kubectl获取所有,按需

#NS_LIST="tools"

#CONFIG_TYPE="service deploy configmap secret job cronjob replicaset daemonset statefulset"

CONFIG_TYPE="svc deploy ingress cm secret statefulsets"   # 指定namespaces下需要备份的资源类型,按需

CURRENT_DIR=$(cd $(dirname $0); pwd)

 

 

ingress_set="

    del(

        .metadata.uid,

        .metadata.resourceVersion,

        .metadata.creationTimestamp,

        .metadata.generation,

        .status

    )

"

 

cm_set="

    del(

        .metadata.uid,

        .metadata.annotations,

        .metadata.resourceVersion,

        .metadata.creationTimestamp

    )

"

secret_set="

    del(

        .metadata.uid,

        .metadata.annotations,

        .metadata.resourceVersion,

        .metadata.creationTimestamp

    )

"

svc_set="

    del(

        .metadata.uid,

        .metadata.resourceVersion,

        .metadata.creationTimestamp,

        .metadata.annotations,

        .status,

        .spec.clusterIP,

        .spec.clusterIPs,

        .spec.internalTrafficPolicy,

        .spec.ipFamilies,

        .spec.ipFamilyPolicy,

        .spec.sessionAffinity

    )

"

 

deploy_set="

    del(

        .metadata.uid,

        .metadata.generation,

        .metadata.resourceVersion,

        .metadata.creationTimestamp,

        .metadata.annotations,

        .status,

        .spec.progressDeadlineSeconds,

        .spec.revisionHistoryLimit,

        .spec.strategy,

        .spec.template.metadata.annotations,

        .spec.template.metadata.creationTimestamp

    )

"

statefulset_set="

    del(

        .metadata.generation,

        .metadata.uid,

        .metadata.resourceVersion,

        .metadata.creationTimestamp,

        .spec.podManagementPolicy,

        .spec.revisionHistoryLimit,

        .spec.template.metadata.creationTimestamp,

        .spec.template.metadata.annotations,

        .spec.template.spec.restartPolicy,

        .spec.template.spec.schedulerName,

        .spec.template.spec.securityContext,

        .spec.updateStrategy,

        .status

    )

"

 

function backup_k8s_to_yaml(){

for ns in ${NS_LIST};do

  BACKUP_DIR_DATE=${CURRENT_BACKUP_DIR}/${ns}  #备份目录,按namespace根据时间分别创建

  mkdir -p ${BACKUP_DIR_DATE} && cd ${BACKUP_DIR_DATE}  #创建备份目录

  for type in ${CONFIG_TYPE};do

    item_num=$(kubectl -n ${ns} get ${type} 2>/dev/null|wc -l)  #过滤资源类型为空

    if [ ${item_num} -lt 1 ];then continue;fi #包含NAME行,所以如果存在资源item_num不小于2

    ITEM_LIST=$(kubectl -n ${ns} get ${type} | awk '{print $1}' grep -v 'NAME')

    for item in ${ITEM_LIST};do

       file_name=${BACKUP_DIR_DATE}/${type}_${item}.yaml

       case ${typein

         "cm")

             set_info=${cm_set}

             ;;

         "svc")

             set_info=${svc_set}

             ;;

         "secret")

             set_info=${secret_set}

             ;;

         "ingress")

         set_info=${ingress_set}

             ;;

           #kubectl -n ${ns} get ${type} ${item} -o=json | jq '. |${ingress_set}'|yq eval -P > ${file_name};;

         "deploy")

            set_info=${deploy_set}

            ;;

         "statefulsets")

            set_info=${statefulset_set}

            ;;

      esac

       kubectl -n ${ns} get ${type} ${item} -o=json | jq --args "${set_info}" '.|${set_info}'| yq eval -P > ${file_name}

       [[ $? -ne 0 ]] && exit

    done

  done

done

}

 

 

function archive_and_upload(){

 

archive_file_name=k8s-backup-${DATA_TIME}.tar.gz

cd ${BACKUP_DIR_BASE} && tar -jcf ${archive_file_name}  ${DATA_TIME} &> /dev/null

if [[ -s ${archive_file_name} ]];then

   /usr/bin/python3 ${CURRENT_DIR}/oss_uoload.py  k8s_backup/${archive_file_name}  ${BACKUP_DIR_BASE}/${archive_file_name}

fi

}

 

 

function main(){

  backup_k8s_to_yaml;

  archive_and_upload;

}

 

main;

上传到OSS

1

2

3

4

5

6

7

8

9

10

11

#!/usr/bin/python3

# -*- coding: utf-8 -*-

import oss2

import os

import sys

oss_file_name=sys.argv[1]

local_file_name=sys.argv[2]

auth = oss2.Auth('LTAI5tKDLc6S2pkrcqyZHEh8''OJybPiQpyeS22tlKpmgaex1xxxxxx')

bucket = oss2.Bucket(auth, 'https://oss-cn-hangzhou.aliyuncs.com''mqops-backup')

 

bucket.put_object_from_file(filename=local_file_name,key=oss_file_name)

脚本生成的路径树如下

1

2

3

4

5

6

7

8

9

root@tsp-prod-ansible:~/script_dir# tree -L 3  /mnt

/mnt/

└── k8s-backup-restore

    ├── 2022-11-10-14-24-01

    │   ├── bmp-prd

    │   ├── change-battery-demo

    │   ├── default

    │   ├── mk1-prod

    │   ├── mk1-website

参考:https://codeantenna.com/a/hyV7eyLUSD

相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
11天前
|
存储 Kubernetes 负载均衡
CentOS 7.9二进制部署K8S 1.28.3+集群实战
本文详细介绍了在CentOS 7.9上通过二进制方式部署Kubernetes 1.28.3+集群的全过程,包括环境准备、组件安装、证书生成、高可用配置以及网络插件部署等关键步骤。
89 3
CentOS 7.9二进制部署K8S 1.28.3+集群实战
|
11天前
|
Kubernetes 负载均衡 前端开发
二进制部署Kubernetes 1.23.15版本高可用集群实战
使用二进制文件部署Kubernetes 1.23.15版本高可用集群的详细教程,涵盖了从环境准备到网络插件部署的完整流程。
29 2
二进制部署Kubernetes 1.23.15版本高可用集群实战
|
11天前
|
存储 Kubernetes 测试技术
k8s使用pvc,pv,sc关联ceph集群
文章介绍了如何在Kubernetes中使用PersistentVolumeClaim (PVC)、PersistentVolume (PV) 和StorageClass (SC) 来关联Ceph集群,包括创建Ceph镜像、配置访问密钥、删除默认存储类、编写和应用资源清单、创建资源以及进行访问测试的步骤。同时,还提供了如何使用RBD动态存储类来关联Ceph集群的指南。
25 7
|
11天前
|
存储 Kubernetes 数据安全/隐私保护
k8s对接ceph集群的分布式文件系统CephFS
文章介绍了如何在Kubernetes集群中使用CephFS作为持久化存储,包括通过secretFile和secretRef两种方式进行认证和配置。
21 5
|
11天前
|
Kubernetes 容器 Perl
k8s基于keyring文件认证对接rbd块设备
文章介绍了如何在Kubernetes集群中使用Ceph的keyring文件进行认证,并对接RBD块设备,包括使用admin用户和自定义用户两种方式的详细步骤和注意事项。
15 3
|
11天前
|
Kubernetes 负载均衡 应用服务中间件
kubeadm快速构建K8S1.28.1高可用集群
关于如何使用kubeadm快速构建Kubernetes 1.28.1高可用集群的详细教程。
27 2
|
3月前
|
存储 运维 Serverless
函数计算产品使用问题之在YAML文件中配置了环境变量,但在PHP代码中无法读取到这些环境变量,是什么原因
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
16天前
|
机器学习/深度学习 计算机视觉 Python
深度学习项目中在yaml文件中定义配置,以及使用的python的PyYAML库包读取解析yaml配置文件
深度学习项目中在yaml文件中定义配置,以及使用的python的PyYAML库包读取解析yaml配置文件
30 0
|
2月前
|
运维 Kubernetes Serverless
Serverless 应用引擎使用问题之s.yaml文件中如何使用外部环境变量
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
|
2月前
|
存储 缓存 运维
函数计算产品使用问题之如何将外部环境变量放到s.yaml文件中使用
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。

热门文章

最新文章