k8s 集群中运行 docker registry 镜像仓库

简介: k8s 集群中运行 docker registry 镜像仓库
  • docker registry 相对于 harbor 来说,安全性会更低有点,不过对于一些内网场景(不需要和公网有互通)来说,其实 docker registry 更轻量化一些
  • 本文仅作学习参考,至于实际的选择,还是以各自实际需求和场景为准

编写 Dockerfile

  • 为了让 docker registry 支持认证登录,需要安装 htpasswd 命令
  • 为了方便后期维护 docker registry,增加镜像删除的功能
  • config.yml
version: 0.1
log:
  fields:
    service: registry
storage:
  cache:
    blobdescriptor: inmemory
  filesystem:
    rootdirectory: /var/lib/registry
  # 增加这里的 delete 和 enabled 
  ## 启用 registry 镜像删除的功能
  delete:
    enabled: true
http:
  addr: :5000
  headers:
    X-Content-Type-Options: [nosniff]
health:
  storagedriver:
    enabled: true
    interval: 10s
    threshold: 3
  • Dockerfile
FROM registry:2
RUN rm -f /etc/docker/registry/config.yml && \
    apk add apache2-utils && \
    apk cache clean
ADD ./config.yml /etc/docker/registry/
  • 构建镜像(需要构建成什么样的镜像名字,可以自己定义)
docker build -t registry:2_auth .

编写 k8s yaml 文件

  • 以静态 pod 的方式来部署,这里就直接使用 kind: Pod ,而不是其他的控制集
  • 不同 k8s 版本,apiVersion 版本可能会不一样,可以使用 kubectl explain pod.apiVersion 命令查看 pod 这个 kindapiVersion
---
apiVersion: v1
kind: Pod
metadata:
  # pod 名称前缀
  name: docker-registry
  # 指定 namespace
  namespace: kube-system
spec:
  # 使用主机网络模式
  hostNetwork: true
  tolerations:
  - key: node-role.kubernetes.io/master
    effect: NoSchedule
  - key: "CriticalAddonsOnly"
    operator: "Exists"
  - key: "node.alpha.kubernetes.io/notReady"
    operator: "Exists"
  initContainers:
  # 这里注意修改成自己 build 的镜像名称
  - image: registry:2_auth
    # docker 容器的名字
    name: docker-registry-init
    imagePullPolicy: IfNotPresent
    # 配置用户名和密码
    command:
    - sh
    - "-c"
    - "htpasswd -Bbn admin adminpasswd > /auth/htpasswd"
    volumeMounts:
    - mountPath: /auth
      name: docker-registry-auth
  containers:
  # 这里注意修改成自己 build 的镜像名称
  - image: registry:2_auth
    # docker 容器的名字
    name: registry
    imagePullPolicy: IfNotPresent
    # 资源限制以自己的实际需求为准
    resources:
      limits:
        cpu: 3000m
        memory: 3000Mi
    env:
    # registry 访问的端口,静态 pod 会暴露出来对应的端口
    - name: REGISTRY_HTTP_ADDR
      value: ":35000"
    # registry 存储路径
    - name: REGISTRY_STORAGE_FILESYSTEM_ROOTDIRECTORY
      value: /var/lib/registry
    # 以 htpasswd 的方式认证
    - name: REGISTRY_AUTH
      value: htpasswd
    # 注册认证
    - name: REGISTRY_AUTH_HTPASSWD_REALM
      value: Registry
    # 认证文件路径
    - name: REGISTRY_AUTH_HTPASSWD_PATH
      value: /auth/htpasswd
    volumeMounts:
    - mountPath: /var/lib/registry
      name: docker-registry-storage
    - mountPath: /auth
      name: docker-registry-auth
  volumes:
  # 将 registry 存储路径持久化到本地,path 指定的路径可以自己修改
  - name: docker-registry-storage
    hostPath:
      path: /data/k8s-data/registry-data
      type: Directory
  # 认证文件的持久化访问为 emptyDir,每次重启都会重新生成
  - name: docker-registry-auth
    emptyDir: {}

kubelet 配置静态 pod 路径

  • kubeadm 部署的,默认就配置了静态 pod 的存放路径,可以不进行下面的操作
  • 二进制部署的,一般没有配置静态 pod 的存放路径,需要 kubelet 增加 --pod-manifest-path 指定路径(提前创建好路径),然后重启 kubelet
--pod-manifest-path=/etc/kubernetes/manifests

启动静态 pod

创建持久化路径,这里的路径要和 yaml 文件里面的 volumes 下面的 docker-registry-storage 指定的 path 一致

mkdir -p /data/k8s-data/registry-data

将 yaml 文件放到上面 kubelet 配置的静态 pod 路径下,然后等 pod 启动(如果想快点,可以直接重启 kubelet 组件)


查看 pod 是否创建成功

kubectl get pod -n kube-system | grep registry

静态 pod 会以 yaml 文件里面的 name 加上当前节点 ip 作为 pod 的名称

docker-registry-172.72.0.95   1/1     Running   0          33s

docker 配置增加 registry 地址

vim /etc/docker/daemon.json

注意 json 语法格式

如果重启 docker 失败,日志有如下输出,表示 daemon.json 文件的格式有错误,注意最后是否需要加上逗号unable to configure the Docker daemon with file /etc/docker/daemon.json: invalid character '"' after object key:value pair

# 增加下面的信息
"insecure-registries": ["ip:端口"]

拿我的举个例子

{
  "registry-mirrors": ["https://docker.mirrors.ustc.edu.cn"],
  "insecure-registries": ["172.72.0.95:35000"],
  "exec-opts": ["native.cgroupdriver=systemd"],
  "data-root": "/approot/data/crt-data",
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "200m",
    "max-file": "5"
  },
  "storage-driver": "overlay2",
  "storage-opts": [
    "overlay2.override_kernel_check=true"
  ]
}

重启 docker 服务

systemctl restart docker

验证 docker registry 仓库

登录 docker registry 仓库,这里的用户名,密码以及登录的 ip 和端口都需要以自己的为准

docker login -u admin -p adminpasswd 172.72.0.95:35000

登录成功后,就会返回对应的 success 了

WARNING! Using --password via the CLI is insecure. Use --password-stdin.
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Login Succeeded

修改镜像 tag,然后尝试上传镜像

docker tag registry:2_auth 172.72.0.95:35000/registry:2_auth

推送镜像到 docker registry

docker push 172.72.0.95:35000/registry:2_auth

返回类似如下的信息,说明推送成功了,可以去其他节点使用 docker login 登录(也需要 docker 配置文件加上 docker registry 的地址),然后直接 docker pull <仓库地址>:<仓库端口>/registry:2_auth

The push refers to repository [172.72.0.95:35000/registry]
f586723f1e87: Pushed
b14c705d6378: Pushed
6e5160500bc7: Pushed
744dbed40ffa: Pushed
f8dc4f9c98a6: Pushed
4984fbd72df1: Pushed
bb01bd7e32b5: Pushed
2_auth: digest: sha256:3b215dad8c5b7704b0b84a3ee46971314b8db9e65fb82a62204cf8497587377a size: 1781
相关实践学习
Docker镜像管理快速入门
本教程将介绍如何使用Docker构建镜像,并通过阿里云镜像服务分发到ECS服务器,运行该镜像。
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用,获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道,以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中,我们将全面的讲解Docker技术栈,从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。 &nbsp; &nbsp; 相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
目录
相关文章
|
8月前
|
NoSQL 算法 Redis
【Docker】(3)学习Docker中 镜像与容器数据卷、映射关系!手把手带你安装 MySql主从同步 和 Redis三主三从集群!并且进行主从切换与扩容操作,还有分析 哈希分区 等知识点!
Union文件系统(UnionFS)是一种**分层、轻量级并且高性能的文件系统**,它支持对文件系统的修改作为一次提交来一层层的叠加,同时可以将不同目录挂载到同一个虚拟文件系统下(unite several directories into a single virtual filesystem) Union 文件系统是 Docker 镜像的基础。 镜像可以通过分层来进行继承,基于基础镜像(没有父镜像),可以制作各种具体的应用镜像。
884 6
|
Prometheus 监控 Cloud Native
除了Prometheus,还有哪些工具可以监控Docker Swarm集群的资源使用情况?
除了Prometheus,还有哪些工具可以监控Docker Swarm集群的资源使用情况?
966 79
|
消息中间件 监控 RocketMQ
Docker部署RocketMQ5.2.0集群
本文详细介绍了如何使用Docker和Docker Compose部署RocketMQ 5.2.0集群。通过创建配置文件、启动集群和验证容器状态,您可以快速搭建起一个RocketMQ集群环境。希望本文能够帮助您更好地理解和应用RocketMQ,提高消息中间件的部署和管理效率。
2056 91
|
Prometheus 监控 Cloud Native
如何使用Prometheus监控Docker Swarm集群的资源使用情况?
还可以根据实际需求进行进一步的配置和优化,如设置告警规则,当资源使用超出阈值时及时发出警报。通过这些步骤,能够有效地使用 Prometheus 对 Docker Swarm 集群的资源进行监控和管理。
826 161
|
SQL 数据库 Docker
【赵渝强老师】在Docker中运行达梦数据库
本文介绍了在Docker容器中部署达梦数据库(DM 8)的具体步骤,包括创建文件夹、下载安装包、导入镜像、启动容器、登录数据库及查看状态等操作。同时,通过视频讲解辅助理解。文中还分析了将数据库服务容器化的潜在问题,如数据安全性、硬件资源争用、网络带宽占用和额外隔离带来的挑战,指出数据库服务在生产环境中可能不适合容器化的原因。
2040 4
【赵渝强老师】在Docker中运行达梦数据库
|
NoSQL Redis 数据库
Docker平台上的Redis镜像运行
这就是如何在Docker平台上运行Redis镜像的全部过程。走进Docker和Redis的世界,探索更多可能!
815 10
|
前端开发 应用服务中间件 nginx
docker安装nginx,前端项目运行
通过上述步骤,你可以轻松地在Docker中部署Nginx并运行前端项目。这种方法不仅简化了部署流程,还确保了环境的一致性,提高了开发和运维的效率。确保按步骤操作,并根据项目的具体需求进行相应的配置调整。
1580 25
|
存储 Kubernetes Docker
Kubernetes(k8s)和Docker Compose本质区别
理解它们的区别和各自的优势,有助于选择合适的工具来满足特定的项目需求。
1881 19
|
Kubernetes Linux 虚拟化
入门级容器技术解析:Docker和K8s的区别与关系
本文介绍了容器技术的发展历程及其重要组成部分Docker和Kubernetes。从传统物理机到虚拟机,再到容器化,每一步都旨在更高效地利用服务器资源并简化应用部署。容器技术通过隔离环境、减少依赖冲突和提高可移植性,解决了传统部署方式中的诸多问题。Docker作为容器化平台,专注于创建和管理容器;而Kubernetes则是一个强大的容器编排系统,用于自动化部署、扩展和管理容器化应用。两者相辅相成,共同推动了现代云原生应用的快速发展。
4299 11
|
存储 Kubernetes API
在K8S集群中,如何正确选择工作节点资源大小? 2
在K8S集群中,如何正确选择工作节点资源大小?