企业级运维之云原生与Kubernetes实战课程 - 第二章第1讲 阿里云容器镜像服务

企业级运维之云原生与Kubernetes实战课程

第二章 阿里云容器技术深入介绍

 

 

视频地址：https://developer.aliyun.com/learning/course/913/detail/14500

 

本章目标

 

• 阿里云容器镜像服务的基础使用和最佳实践，常见问题排查手段
• 熟悉阿里云容器服务集群应用管理(创建、更新、删除)
• 掌握Kubernetes调度和资源管理、路由和负载均衡
• 掌握阿里云容器服务集群存储、容器服务集群日志和监控

 

本章目录

 

1.  阿里云容器镜像

2.  阿里云容器服务集群应用管理

3.  Kubernetes调度和资源管理

4.  负载均衡和路由

5.  阿里云容器服务集群集群存储

6.  阿里云容器服务集群日志和监控

7.  实验二：应用部署进阶

 

第二章第1讲 阿里云容器镜像服务

 

目录

 

• 容器镜像仓库介绍
• 阿里云容器镜像服务ACR优势
• ACR基础操作
• ACR使用实践
• 常见问题

 

 

一、容器镜像仓库介绍

 

1. 为什么需要容器镜像仓库

 

• 镜像仓库是一个无状态的、高度可扩展的服务器端应用程序，它存储并允许分发Docker镜像；
• 和yum源、apt源类似，容器镜像存储在仓库里，需要从仓库里拉取到本地再运行为一个容器；
• 镜像仓库分为公共仓库和私有仓库，目前最大的容器镜像公共仓库是Docker官方的Dockerhub。当然自己也可以在本地搭建容器镜像仓库服务，这称为私有仓库；
• 容器镜像仓库的设计理念和Github很相似，也分为远程库和本地库，可以把远程镜像仓库的镜像拉取到本地镜像仓库，也可以把本地镜像仓库的镜像推送到远程镜像仓库；

 

2. 容器镜像仓库使用步骤

 

• 开发者从公共镜像仓库pull拉取基础镜像；
• 构建完成包含业务应用的容器镜像，再push推送到自己的私有镜像仓库；
• 业务环境从私有镜像仓库拉取镜像部署到集群中；

如执行命令：docker pull busybox(busybox为公共镜像仓库的镜像)，然后编写dockerfile，构建镜像后推送到私有仓库，执行docker run xxx命令或者kubectl creat deployment xxx(xxx为镜像地址)，就完成了镜像的部署。

 

Docker Registry

 

Registry可以理解为仓库，它是用来保存所有创建好的镜像统一存储的位置。根据它的权限分为私有仓库(Private Registry)和公共仓库(Public Registry)。公共仓库不需要用户名验证，就可以pull拉取镜像，但不能push推送镜像，私有仓库需要验证用户名和密码后，才可以pull拉取和push推送镜像。

 

阿里云提供的容器镜像的仓库服务：ACR。

 

二、阿里云容器镜像服务ACR

 

1. 阿里云容器镜像服务ACR优势

 

• 简单易用：

无需自行搭建及运维，一键创建镜像仓库 支持多地域，提供稳定快速的镜像上传、下载服务；

 

• 安全可控：

完善的镜像权限管理体系，确保镜像的分享安全，团队的协作便利提供镜像安全扫描功能，保证镜像漏洞可识别，漏洞级别可提示；

 

• 云产品间无缝集成：

整合容器服务，实现新应用镜像生成后的持续部署，整合云Code、CodePipeline，实现源代码到编译测试后，自动生成应用镜像；

 

2. Dockerhub

 

• 速度慢：镜像仓库服务器在大陆外，上传下载慢；
• 安全性低：没有镜像安全扫描功能；
• 衔接性差：webhook触发器钩子设置繁琐，与其他产品和服务对接不方便。

 

 

3. 三种容器镜像方案对比

 

 

a.  企业版

 

适用于企业客户、对安全及性能需求高、业务全球多地域、有大规模节点部署要求的集群，其特点如下：

 

• 支持容器镜像，加密托管；
• 支持Helm Char，加密托管；
• 支持双引擎开源及云安全中心扫描；
• 支持镜像加签；
• 支持公网/VPC网络控制（通过添加白名单的方式）、支持关闭公网、添加ACL条目；
• 支持操作审计；
• 支持千节点大规模P2P分发；
• 应用分发全球地域+自动同步、支持全链路可观测、可追踪、可自主设置；
• 费用及运维成本：收费、提供SLA保障；

 

b.  默认实例

 

适用于个人开发者，其特点如下：

 

• 支持开源扫描；
• 应用分发仅国内地域+手动触发；
• 费用及运维成本：免费；

 

c.  Harbor

 

开源镜像仓库，无限制，其特点如下：

• 支持Helm Char；
• 支持容器镜像；
• 支持开源扫描；
• 支持镜像加签；
• 应用分发多套自建，打通网络；
• 费用及运维成本：无SLA保障。

 

三、ACR基础操作

 

1. ACR的基础操作分两个步骤：

 

a.  登录镜像仓库；

 

docker login --username=xxx registry.cn-shenzhen.aliyuncs.com

 

• username为阿里云账号(包括子账号)，password为对应账号的仓库密码(非阿里云账号密码)；
• 使用docker login命令，点击ACK产品可以找到登录仓库的命令及地址，登录成功后，可以使用命令cat /root/.docker/config.json查看，包含了镜像仓库的地址、auth（base64加密后用户名和密码）；

 

b.  拉取或推送镜像

 

• 镜像仓库地址格式

 

使用docker push/pull命令进行镜像的拉取或推送，仓库地址格式，依次为domain、命名空间、镜像名。

 

• 镜像拉取

docker pull registry.cn-shenzhen.aliyuncs.com/<namespace>/registry：[镜像版本号]

私有镜像拉取必须先docker login，然后进行权限校验才能拉取，公开镜像可以直接拉取；

 

• 镜像推送

docker tag [ImageId]registry.cn-shenzhen.aliyuncs.com/<namespace>/registry：[镜像版本号]

docker push registry.cn-shenzhen.aliyuncs.com/<namespace>/registry：[镜像版本号]

push镜像必须先docker login，然后进行权限校验才能push，docker login的域名和push的域名必须一致。

 

 

2. ACR授权子账号使用

 

镜像仓库可以授权给多个子账号同时共享使用，子账号和主账号是互相独立的，仓库授权遵循RAM授权策略。

 

a. AliyunContainerRegistryFullAccess

 

子用户拥有该授权后，对于镜像资源的权限等同于主账号，可以做任意管理操作。

 

{

"Statement": [

   {

    "Action": "cr:*",

    "Effect": "Allow",

    "Resource": "*"

   }

 ],

"Version": "1"

}

 

b. AliyunContainerRegistryReadOnlyAccess

 

子用户拥有该授权后，对于所有容器镜像资源有只读权限，比如：可以查看仓库列表， Pull 镜像等。

{

"Statement": [

   {

    "Action": [

      "cr:Get*",

      "cr:List*",

      "cr:PullRepository"

     ],

    "Effect": "Allow",

    "Resource": "*"

   }

 ],

"Version": "1"

}

 

其他自定义权限参考：https://help.aliyun.com/document_detail/67992.html

 

四、ACR使用实践

 

1. ConfigMap

 

a.  定义

ConfigMap是用来存储配置文件的kubernetes资源对象，所有的配置内容都存储在etcd中。

 

b.  用途

ConfigMap核心作用是让配置信息和镜像解耦(微服务思想)。

 

c.  特点

Pod可以使用ConfigMap的数据生成配置文件。如果Pod配置文件要改变时，只需要修改ConfigMap里面的数据，然后会动态改变Pod容器里面的配置信息。ConfigMap的数据是以键值的形式存在。

 

d.  命令示例

• 使用yaml创建ConfigMap：kubectl apply -f xxx（xxx为configmap的yaml文件)
• 查看ConfigMap：kubectl get cm xxx（xxx为configmap服务名） -o yaml

 

e.  使用ConfigMap

 

如下示例的yaml文件中，envFrom字段内通过ConfigMapRef指定需要用到的ConfigMap，还可以在Pod命令中使用ConfigMap定义的环境变量、以及将 ConfigMap数据添加到一个卷中在Pod中挂载该数据卷的方式。

 

yaml文件示例：

 

apiversion: v1

kind：Pod

metadata:

   name：test-pod

spec:

containers

   -name: test-container

   image: k8s.gcr.io/busybox

   command: I"Nbin/sh"，"_C"，"env"

   envFrom:

   -configMapRef:

   name：test-config4

restartPolicy: Never

 

参考《配置Pod使用ConfigMap》：https://kubernetes.io/zh-cn/docs/tasks/configure-pod-container/configure-pod-configmap/

 

2. Secret

 

a.  定义

 

• Secret结构与ConfigMap 类似，均是键/值对的映射，使用方法也与ConfigMap相同；
• Secret解决了密码、token、密钥等敏感数据的配置问题，而不需要把这些敏感数据暴露到镜像或者Pod Spec中。 Secret可以以Volume或者环境变量的方式使用；
• Secret的大小被限制为1MB。当Secret挂载到Pod上时， 是以tmpfs的形式挂载，即这些内容都是保存在节点的内存中，而不是写入磁盘，通过这种方式来确保信息的安全性。

 

b.  Secret类型

 

 

• Opaque：用户自定义的任意数据；
• kubernetes.io/dockerconfigjson：用来存储私有docker registry的认证信息；
• kubernetes.io/service-account-token：用于被serviceaccount引用。serviceaccout创建时Kubernetes会默认创建对应的secret；

 

注：Pod如果使用了serviceaccount，对应的secret会自动挂载到Pod目录/run/secrets/kubernetes.io/serviceaccount中。

 

3. Kubernetes中如何使用私有镜像仓库创建应用

 

步骤1：生成私有镜像的密钥；

 

kubectl create secret docker-registry [$Reg_Secret]--docker-server=[$Registry]--docker-username=[$Username--docker-password=[$Password] --docker-email=[$Email]

 

说明：

[$Reg_Secret]为密钥的键名称，可自行定义；

[$Registry]为Docker仓库地址；

[$Username]为登录Docker仓库的用户名；

[$Password]为登录Docker仓库的密码；

[$Email]为邮件地址，该配置项可选填；

 

步骤2：在编排的YAML文件中加入密钥相关配置项，完成后YAML文件类似如下

 

containers:

   -name:foo

   image: [$Registry]/abc/test: 1.0

imagePullSecrets:

   name: [$Reg Secret]

 

说明：

imagePullSecrets 配置为在声明拉取镜像时指定的密钥。

 

另一种用法，将镜像拉取密钥放到命名空间下的默认ServicAccount中：

 

a.  Kubectl create secret docker-registry mysecret--docker-server=xiniao-registry.cn-zhangjiakou.cr.aliyuncs.comdocker-username=xiniaoetest.com --docker-passrord=mYpassWd***

b.  kubectl patch serviceaccount default -p ‘{"imasepuIISecrets"：[f"name"：mysecret")]’

 

4. ACR免密组件

 

拉取私有仓库的镜像都需要docker login登录验证，而且经常遇到验证问题，如何省略这一步？

 

a.  免密组件aliyun-acr-credential-helper

aliyun-acr-credential-helper是一个可以在ACK集群中免密拉取ACR默认版或企业版私有镜像的组件，该组件会默认安装在所有ACK集群中。

 

b.  acr-configuration配置

 

免密组件通过读取ACK集群内的kube-system命名空间中的acr-configuration的配置，进行私有镜像拉取。当前支持针对私有镜像仓库使用以下三种权限之一的策略进行配置：

 

• 使用默认的ACK Worker RAM角色权限进行拉取(默认策略)；
• 使用自定义RAM角色的AccessKey ID和AccessKey Secret的权限进行拉取；
• 通过配置RAM AssumeRole权限，使用其他用户的权限进行拉取。RoleARN是角色的全局资源描述符，用来指定具体角色。比如，某个云账号下的 devops角色的ARN为：acs：ram：：1234567890123456：role/samplerole。

 

免密组件acr-configuration配置项示例

 

c.  免密组件常见场景：

 

场景一：配置当前账号拉取权限

 

步骤：

• 登录容器服务管理控制台；
• 在控制台左侧导航栏中，单击集群；
• 在集群列表页面中，单击目标集群名称或者目标集群右侧操作列下的详情；
• 在集群信息页面，单击集群资源页签，单击Worker RAM角色右侧链接；
• 在RAM角色基本信息的权限管理页签，单击目标权限策略名称.
• 单击修改策略内容；
• 在策略内容区域增加以下字段后，单击确定。

 

{

   "Action": [

   "cr: Get*"，

   "cr: List*"

   "cr: PullRepository"

],

"Resource":"*",

"Effect": A11ow"

}

 

场景二：配置跨地域拉取镜像权限

 

如果需要拉取的镜像与当前ACK集群不属于同一地域的时候，需要修改配置项acr-configuration中的configMap。

例如，默认仓库同时拉取北京地域与杭州地域的镜像，配置如下：

 

data：

   service-account: "default"

   watch-namespace: "a11"

   expiring-threshold: "15m"

   notify-email: "cs@aliyuncs.com"

   acr-registry-info:

   - instanceId: ""

     regionId: cn-beijing

   - instanceId: ""

     regionId: cn-hangzhou

 

场景三：配置跨账号拉取权限

 

使用角色扮演进行跨账号拉取配置原则如下：

 

• B用户(RAM角色)可以拉取指定私有仓库下的私有镜像(B用户RAM角色有cr.*相关的权限)；
• B用户(RAM角色)允许让A用户下的ACK Worker RAM角色扮演(信任策略)；
• A用户下的ACK集群的Worker RAM角色有扮演B用户(RAM角色)的权限(AliyunAssumeRoleAccess)；
• 设置A用户下的Worker RAM角色扮演B用户(configMap中的assumeRoleARN)；

步骤4需要调整组件配置，新增assumeRoleARN配置，指定扮演哪个角色。 配置内容为B用户Worker RAM角色的ARN。

 

data：

   service-account: "default"

   watch-namespace: "a11"

   expiring-threshoid: "15m"

   notify-email: "cs@aIiyuncs.com"

   acr-registry-info:

   -instanceId: ""

      regionId: cn-beijing

      domains: registry.cn-beijing.aliyuncs.com

      assumeRoleARN: acs: ram::.*:role/kubernetesworkerrole-test

 

场景四：同时拉取默认实例和企业实例的私有镜像

 

如需同时拉取默认实例和企业版实例的私有镜像，按照以下方式修改配置项ACR-configuration中的configMap：

 

data：

   seryice-account="detaIt"

   watch-namespace："all"

   expiring-threshold："15m"

   notiEy-emaiI："cs@aliyuncs.com"

   acr-registry-info：

   - instanceId：""

   - instanceId："cri-xxxx"

 

五、常见问题

 

1. 拉取镜像失败，报错镜像不存在或者没有权限

 

• 确认镜像本身是否存在，镜像地址是否填写正确；
• 确认镜像是否是私有镜像，私有镜像必须配置密钥拉取(是否使用免密组件)；
• 如果没有使用免密组件，可以手动docker login后测试拉取镜像情况，确认secret中的镜像地址和development中的镜像地址域名是否一致；
• 如果使用免密组件，查看免密组件Pod日志确认是否有异常，检查ACR-configuration配置是否有问题；
• 检查免密组件的RAM Role权限策略是否正确。

 

2. 镜像拉取失败，报错timeout

 

检查镜像地址是否正确，镜像地址是否可达，如果是公网地址，确认ECS是否有绑定EIP或者ECS所在交换机是否有绑定SNAT保证公网能力，如果是VPC地址，检查镜像地址Region是否和ECS是相同Region，默认相同Region地址才能VPC拉取镜像。