不论什么样的应用,基本都有配置文件,在企业中,大部分会用到配置中心,比如apollo、nacos等,也有一些公司直接使用Kubernetes自带的配置管理,主要有:
- Secret
- ConfigMap
Secret
如果把配置信息保存在Secret中,其会被加密存放到Etcd中,Pod可以通过以下两种种方式使用它:
- 通过环境变量的方式
- 通过挂载的方式
- 指定拉取镜像的Secret
一般情况下,通过Secret保存的配置信息都是敏感信息,比如数据库的账号密码、认证服务的账号密码等,且Secret不宜过大,因为如果使用大的Secret,则将大量占用API Server和kubelet的内存。
创建Secret
创建Secret的方式主要有两种:
- 使用YAML文件创建
- 使用kubectl命令创建
使用YAML文件创建
使用YAML文件创建,就要熟悉Secret的配置详情,可以通过kubectl explain secret
去查看。其主要字段有apiVersion,data,kind,metadata,type。
比如创建一个简单的Secret如下:
apiVersion: v1 kind: Secret metadata: name: my-secret-volume type: Opaque data: user: cm9vdA== password: UEBzc1cwcmQ=
其中apiVersion、kind和metadata是常用字段,这里就不赘述了。type表示secret的类型,主要有以下几种:
- Qpaque:可以定义任意数据
- kubernetes.io/service-account-token:配置ServiceAccount Token
- kubernetes.io/dockercfg:配置docker认证文件
- kubernetes.io/dockerconfigjson:配置docker认证文件
- kubernetes.io/basic-auth:配置基础认证
- kubernetes.io/ssh-auth:配置ssh认证
- kubernetes.io/tls:配置TLS证书
- bootstrap.kubernetes.io/token:配置bootstrap token
如果在创建Secret的时候没有指定类型,默认使用Qpaque类型。另外data的数据的值是需要base64转码。
使用kubectl命令创建
在使用kubectl创建的时候,如果不熟悉子命令信息,可以通过kubectl explain secret查看。
我们使用以下命令创建一个Secret:
$ kubectl create secret generic secret-auth-test --from-literal=username=joker --from-literal=password=123
创建完成后,可以看到username和password的值被自动加密了,如下:
$ kubectl get secrets secret-auth-test -oyaml apiVersion: v1 data: password: MTIz username: am9rZXI= kind: Secret metadata: creationTimestamp: "2022-07-25T07:44:18Z" name: secret-auth-test namespace: default resourceVersion: "652834" uid: ff1b756a-6b38-4b68-a47c-c51988729b68 type: Opaque
除了直接在命令行输入数据,还可以从文件创建,如下:
$ echo -n 'admin' > ./username.txt $ echo -n '1f2d1e2e67df' > ./password.txt
然后通过--from-file引入文件,如下:
$ kubectl create secret generic db-user-pass \ --from-file=./username.txt \ --from-file=./password.txt
创建后的secret值都是加密的,如果要获取明文信息,通过以下命令即可:
$ kubectl get secret db-user-pass -o jsonpath='{.data.password}' | base64 --decode
默认情况下,secret是使用base64加密的,所以解密可以直接使用base64解密。
使用Secret
Secret只是一个静态资源,最终,我们是想使用它,在实际中,主要通过以下方式使用:
- 通过环境变量的方式
- 通过挂载的方式
- 指定拉取镜像的Secret
我们在上面创建了secret-auth-test
的Secret,下面分别使用以上三种方式进行使用。
通过环境变量使用Secret
在Pod的对象中,有spec.containers.env.valueFrom.secretKeyRef字段,该字段可以用来引用Secret字段,如下:
apiVersion: v1 kind: Pod metadata: name: secret-env-pod spec: containers: - name: mycontainer image: redis env: - name: SECRET_USERNAME valueFrom: secretKeyRef: name: secret-auth-test key: username - name: SECRET_PASSWORD valueFrom: secretKeyRef: name: secret-auth-test key: password
这样就会把Secret里的信息注入到容器环境变量里,应用可以直接通过读取环境变量来使用。
通过挂载的方式使用Secret
可以使用挂载的方式,将Secret以文件的形式挂载到容器中,如下:
apiVersion: v1 kind: Pod metadata: name: mypod spec: containers: - name: mypod image: redis volumeMounts: - name: foo mountPath: "/etc/foo" readOnly: true volumes: - name: foo secret: secretName: secret-auth-test
这样就会把数据挂载到/etc/foo这个目录里,如下:
$ kubectl exec -it mypod -- /bin/sh # ls -l /etc/foo total 0 lrwxrwxrwx 1 root root 15 Jul 25 08:30 password -> ..data/password lrwxrwxrwx 1 root root 15 Jul 25 08:30 username -> ..data/username
如果Secret里有多个键值,还可以只挂载某一个数据,如下:
apiVersion: v1 kind: Pod metadata: name: mypod spec: containers: - name: mypod image: redis volumeMounts: - name: foo mountPath: "/etc/foo" readOnly: true volumes: - name: foo secret: secretName: secret-auth-test items: - key: username path: my-group/my-username
上面指定volumes.secret.items.path用来指定username的子目录,如下:
$ kubectl exec -it mypod-password -- /bin/bash root@mypod-password:/data# cat /etc/foo/my-group/my-username joker
除此之外,还可以指定权限,如下:
apiVersion: v1 kind: Pod metadata: name: mypod spec: containers: - name: mypod image: redis volumeMounts: - name: foo mountPath: "/etc/foo" volumes: - name: foo secret: secretName: secret-auth-test defaultMode: 0400
然后可以看到被挂载的Secret的权限如下:
$ kubectl exec -it mypod-permision -- /bin/bash root@mypod-permision:/etc/foo# ls -l total 0 lrwxrwxrwx 1 root root 15 Jul 25 08:38 password -> ..data/password lrwxrwxrwx 1 root root 15 Jul 25 08:38 username -> ..data/username root@mypod-permision:/etc/foo# ls ..data/password -l -r-------- 1 root root 3 Jul 25 08:38 ..data/password
注意:我们进/etc/foo目录直接使用ls -l查看到的权限是777,但是仔细的人可以发现其实质是一个链接文件,我们真正要看的权限是被链接的文件,也就是上面的..data/password。
在拉取镜像的时候使用Secret
我们在前面列举了很多YAML文件,都没有配置imagePullSecret,主要是那些镜像都是Dockerhub官方的镜像,对外是公开的。
然而,在实际的生产中,不会将自己公司的镜像对外公开,这非常的不安全。如果镜像仓库加密了,在下载镜像的时候要docker login,在Kubernetes中,也免不了该操作。
为此,Kubernetes提供了imagePullSecret字段,该字段用来指定拉取镜像的Secret,这个Secret会保存镜像仓库的认证信息。
(1)首先创建镜像认证信息的Secret
kubectl create secret \ docker-registry pull-registry-secret \ --docker-server=registry.test.cn \ --docker-username=ops \ --docker-password=ops123123 \
(2)在Pod中使用
apiVersion: v1 kind: Pod metadata: name: mypod spec: imagePullSecrets: - name: pull-registry-secret containers: - name: mypod image: redis volumeMounts: - name: foo mountPath: "/etc/foo" volumes: - name: foo secret: secretName: secret-auth-test defaultMode: 0400
这样就可以拉取私有仓库里的镜像了。
总结
综上,我们可以通过Secret保管其他系统的敏感信息(比如数据库的用户名和密码),并以Mount的方式将Secret挂载到Container中,然后通过访问目录中文件的方式获取该敏感信息。当Pod被API Server创建时,API Server不会校验该Pod引用的Secret是否存在。一旦这个Pod被调度,则kubelet将试着获取Secret的值。如果Secret不存在或暂时无法连接到API Server,则kubelet按一定的时间间隔定期重试获取该Secret,并发送一个Event来解释Pod没有启动的原因。一旦Secret被Pod获取,则kubelet将创建并挂载包含Secret的Volume。只有所有Volume都挂载成功,Pod中的Container才会被启动。在kubelet启动Pod中的Container后,Container中和Secret相关的Volume将不会被改变,即使Secret本身被修改。为了使用更新后的Secret,必须删除旧Pod,并重新创建一个新Pod。