AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

如何搭建代理镜像仓库

2022-09-15 760
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
容器镜像服务 ACR，镜像仓库100个 不限时长
.cn 域名，1个 12个月
简介： 不知道各位有没有我这种尴尬：kubernetes搭建过程中需要拉取到一些镜像，比如： dockerhub的镜像，这个还好。毕竟有加速器。but k8s.gcr.io,quay.io.这些怎么搞？正巧搭建kubeadm 1.25,helm安装cilium的时候悲摧了。下载不动怎么搞？docker时代的时候我还可以直接导入，但是containerd时代了 导入了还是要麻烦一些阿？搜索引擎搜了一下，找到下面三个文章，借鉴一下！

背景：

不知道各位有没有我这种尴尬：kubernetes搭建过程中需要拉取到一些镜像，比如： dockerhub的镜像，这个还好。毕竟有加速器。but k8s.gcr.io,quay.io.这些怎么搞？正巧搭建kubeadm 1.25,helm安装cilium的时候悲摧了。下载不动怎么搞？docker时代的时候我还可以直接导入，但是containerd时代了 导入了还是要麻烦一些阿？搜索引擎搜了一下，找到下面三个文章，借鉴一下！

参照：搭建Docker镜像仓库代理

搭建容器仓库的镜像服务器(gcr, ghcr, quay, k8s-gcr)

真◉彻底解决 gcr、quay、DockerHub 镜像下载难题！

搭建镜像代理仓库

其中米开朗基杨大佬写的真◉彻底解决 gcr、quay、DockerHub 镜像下载难题！搭建一个k3s集群搞比较全国，但是我国外服务器就一台，还是轻量级的服务器....开始就是下载镜像然后上传到国内harbor仓库的......这里就用搭建Docker镜像仓库代理的方式去操作了！

前提条件

服务器在国外

四个域名 以及ssl证书

安装Docker

注意：我这台服务器为轻量服务器，ubuntu操作系统（docker我之前其实早安装了......）

apt-get update

apt-get upgrade

apt-get install docker*

如果是centos 请参照：

yum update

 

yum install -y yum-utils device-mapper-persistent-data lvm2

 

yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

yum install -y docker-ce

配置Docker

  1. 设置 Docker 的日志格式为 json，日志文件大小为 100M，最多保存 3 个日志；
  2. 设置 Docker 镜像私有仓库和官方镜像加速地址；
  3. 设置 Docker 的数据目录到/data/docker；
  4. 设置 Docker 的 Storage Driver 为 overlay2。

[root@dqzboy ~]# mkdir /etc/docker

[root@dqzboy ~]# cat << EOF > /etc/docker/daemon.json

{

 "log-driver": "json-file",

   "log-opts": {

     "max-size": "100m",

     "max-file": "3"

   },

 "insecure-registry": [

   "hub.dqzboy.com"

 ],

 "registry-mirror": "https://a7ye1cuu.mirror.aliyuncs.com",

 "data-root": "/data/docker",

 "exec-opts": ["native.cgroupdriver=systemd"],

 "storage-driver": "overlay2",

 "storage-opts": [

   "overlay2.override_kernel_check=true"

 ]

}

EOF

启动 Docker

systemctl enable docker && systemctl start docker

安装 Docker Compose

看版本吧，我没有安装什么最新的 ，毕竟能跑起来就可以对我来说

curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

chmod +x /usr/local/bin/docker-compose

ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose

docker-compose --version

启动镜像仓库代理

git clone  相关registry-proxy仓库配置文件

git clone https://github.com/findsec-cn/registry-proxy.git

cd registry-proxy

自定义修改配置文件

  1. 将域名的证书放置到 cert 目录下，并把证书文件名称命名为该目录下的server名称；
  2. 其中 server.crt 为 ssl 证书文件， server.key 为 ssl 私钥。
  3. 注意：证书一定要是对应域名的，不然进行下载镜像会提示x509
  4. 修改 nginx.conf 配置文件，将配置文件中的域名替换成自己的域名(xxx.com)

docker-compose.yaml修改

我这里先修改以下docker-compose.yaml,原github项目只代理了gcr.io，k8s.gcr.io，恩我这里主要是使用代理quay.io仓库，如果代理其他仓库可类似方法！

version: '2'

services:

 local:

   container_name: reg-local

   image: findsec/registry-proxy:latest

   restart: always

   environment:

     - DELETE_ENABLED=true

   volumes:

     - ~/data/registry:/var/lib/registry

   ports:

     - 5000:5000

   networks:

     - registry-net

 quay:

   container_name: reg-quay

   image: findsec/registry-proxy:latest

   restart: always

   environment:

     - PROXY_REMOTE_URL=https://quay.io

   volumes:

     - ~/data/registry:/var/lib/registry

   networks:

     - registry-net

 gcr:

   container_name: reg-gcr

   image: findsec/registry-proxy:latest

   restart: always

   environment:

     - PROXY_REMOTE_URL=https://gcr.io

   volumes:

     - ~/data/registry:/var/lib/registry

   networks:

     - registry-net

 k8s-gcr:

   container_name: reg-k8s-gcr

   image: findsec/registry-proxy:latest

   restart: always

   environment:

     - PROXY_REMOTE_URL=https://k8s.gcr.io

   volumes:

     - ~/data/registry:/var/lib/registry

   networks:

     - registry-net

 ui:

   container_name: reg-ui

   image: findsec/registry-ui:latest

   restart: always

   links:

     - local:reg-local

   environment:

     - REGISTRY_TITLE=My Private Docker Registry

     - REGISTRY_URL=http://reg-local:5000

     - DELETE_IMAGES=true

   networks:

     - registry-net

 nginx:

   container_name: reg-nginx

   image: nginx:alpine

   restart: always

   ports:

     - 80:80

     - 443:443

   links:

     - ui:reg-ui

     - gcr:reg-gcr

     - quay:reg-quay

     - k8s-gcr:reg-k8s-gcr

     

   volumes:

     - ./nginx.conf:/etc/nginx/conf.d/default.conf

     - ./cert:/etc/nginx/ssl

   networks:

     - registry-net


networks:

 registry-net:

依着葫芦画瓢。根据仓库中yaml文件中gcr配置 生成一个quay的配置：

nginx相关配置中link也添加上quay配置：

修改nginx.conf中域名：

sed -i 's/xxx.com/zhangpeng.com/g' nginx.conf

添加quay域名相关配置：

最终配置文件如下：

server {

   listen       80;

   listen       443 ssl;


   server_name  hub.zhangpeng.com;


   proxy_connect_timeout 600;

   proxy_send_timeout    600;

   proxy_read_timeout    600;

   send_timeout          600;


   ssl_certificate /etc/nginx/ssl/server.crt;

   ssl_certificate_key /etc/nginx/ssl/server.key;


   location / {

       proxy_pass   http://reg-ui:80;


       proxy_buffering off;

       proxy_request_buffering off;

   }

}

server {

   listen       80;

   listen       443 ssl;


   server_name  gcr.zhangpeng.com;


   proxy_connect_timeout 600;

   proxy_send_timeout    600;

   proxy_read_timeout    600;

   send_timeout          600;


   ssl_certificate /etc/nginx/ssl/server.crt;

   ssl_certificate_key /etc/nginx/ssl/server.key;


   location / {

       proxy_pass   http://reg-gcr:5000;


       proxy_buffering off;

       proxy_request_buffering off;

   }

}

server {

   listen       80;

   listen       443 ssl;


   server_name  k8s-gcr.zhangpeng.com;


   proxy_connect_timeout 600;

   proxy_send_timeout    600;

   proxy_read_timeout    600;

   send_timeout          600;


   ssl_certificate /etc/nginx/ssl/server.crt;

   ssl_certificate_key /etc/nginx/ssl/server.key;


   location / {

       proxy_pass   http://reg-k8s-gcr:5000;


       proxy_buffering off;

       proxy_request_buffering off;

   }

}

server {

   listen       80;

   listen       443 ssl;


   server_name  quay.zhangpeng.com;


   proxy_connect_timeout 600;

   proxy_send_timeout    600;

   proxy_read_timeout    600;

   send_timeout          600;


   ssl_certificate /etc/nginx/ssl/server.crt;

   ssl_certificate_key /etc/nginx/ssl/server.key;


   location / {

       proxy_pass   http://reg-quay:5000;


       proxy_buffering off;

       proxy_request_buffering off;

   }

}

ssl证书

一定记得要上传ssl证书到cert目录下：

当然了你也可以修改docker-compose.yaml.修改nginx中volumes中挂载路径

也可以修改nginx.conf文件中ssl_certificate ssl_certificate_key 文件名：

启动镜像仓库代理

docker-compose up -d

docker-compose logs -f

可能会出现证书配置不对的报错，哈哈哈自己解决以下.....

解析域名  

我的域名用的dnspod

使用镜像仓库代理

本地工作环境为rocky 8.5安装了podman 使用podman进行测试：

###要下载镜像

[root@zhangpeng ~]# podman pull k8s.gcr.io/pause:3.6

###通过镜像仓库代理方式下载：

[root@zhangpeng ~]# podman pull k8s-gcr.zhangpeng.com/pause:3.6


访问hub.zhangpeng.com。可以看到我们下载的镜像被缓存了

接下来可以进阶的：

image的清理

不能一直缓存吧，空间写满了怎么办，最苯的方法写一个crontab：

* * */2 * * /usr/bin/rm -rf /var/lib/registry/* &>/dev/null

防白嫖认证

服务器镜像代理被白嫖怎么办？最简单的搞一个htpasswd搞一下：

apt-get install apache2-utils


htpasswd -c passwd zhangpeng

然后修改nginx.conf文件,我这里为了演示只修改了k8s-gcr这一个的相关配置，其他的都如此就可以：

server {

   listen       80;

   listen       443 ssl;


   server_name  k8s-gcr.zhangpeng.com;


   proxy_connect_timeout 600;

   proxy_send_timeout    600;

   proxy_read_timeout    600;

   send_timeout          600;


   ssl_certificate /etc/nginx/ssl/server.crt;

   ssl_certificate_key /etc/nginx/ssl/server.key;

   auth_basic "请输入用户和密码"; # 验证时的提示信息

   auth_basic_user_file /etc/nginx/passwd; # 认证文件

   location / {

       proxy_pass   http://reg-k8s-gcr:5000;


       proxy_buffering off;

       proxy_request_buffering off;

   }

}


重启docker-compose服务:

注：当前registry目录下

docker-compose down

docker-compose up -d

本地测试：

还拿pause镜像为例，恩显示认证失败了

podman pull k8s-gcr.zhangpeng.com/pause:3.5

podman login k8s-gcr.zhangpeng.com

podman pull k8s-gcr.zhangpeng.com/pause:3.5

如下图，pull成功：

其他的？

容器运行时配置的配置，参照米开朗基杨大佬：

https://blog.csdn.net/alex_yangchuansheng/article/details/113855809#t10

感谢各位大佬的踩坑，后人能那么方便的使用！

文章标签：
容器镜像服务
容器服务Kubernetes版
域名
开发工具
容器
应用服务中间件
Linux
网络安全
Docker
Kubernetes
nginx
git
缓存
相关实践学习
通过容器镜像仓库与容器服务快速部署spring-hello应用
本教程主要讲述如何将本地Java代码程序上传并在云端以容器化的构建、传输和运行。
Kubernetes极速入门
Kubernetes(K8S)是Google在2014年发布的一个开源项目，用于自动化容器化应用程序的部署、扩展和管理。Kubernetes通常结合docker容器工作，并且整合多个运行着docker容器的主机集群。 本课程从Kubernetes的简介、功能、架构，集群的概念、工具及部署等各个方面进行了详细的讲解及展示，通过对本课程的学习，可以对Kubernetes有一个较为全面的认识，并初步掌握Kubernetes相关的安装部署及使用技巧。本课程由黑马程序员提供。 &nbsp; 相关的阿里云产品：容器服务 ACK 容器服务 Kubernetes 版（简称 ACK）提供高性能可伸缩的容器应用管理能力，支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力，打造云端最佳容器化应用运行环境。 了解产品详情:&nbsp;https://www.aliyun.com/product/kubernetes
对你无可奈何1987
目录
相关文章
晨曦蜗牛
|
应用服务中间件 Shell Docker
Docker Hub 公有镜像在国内拉取加速配置
通过加速，国内用户能够快速访问最流行的 Docker 镜像。 仓库 registry.docker-cn.com 包含流行的公有镜像。私有镜像仍需要从 Docker Hub 镜像库中拉取。 以下命令直接从镜像加速地址进行拉取： $ docker pull registry.
晨曦蜗牛
34673 0
你都不懂
|
4月前
|
存储 Docker 容器
阿里云私有docker仓库构建海外镜像
【8月更文挑战第25天】
你都不懂
443 3
风水道人
|
7月前
阿里云配置dcoker镜像仓库
阿里云配置dcoker镜像仓库
风水道人
295 0
shudiFu
|
5月前
|
数据可视化 Linux 数据安全/隐私保护
Harbor私有镜像仓库搭建
Harbor私有镜像仓库搭建
shudiFu
74 3
香吧香
|
5月前
|
Ubuntu Java Docker
docker 搭建私有仓库并发布私有镜像
docker 搭建私有仓库并发布私有镜像
香吧香
519 1
游客mldfis24krfue
|
4月前
|
存储 Kubernetes 数据安全/隐私保护
在K8S中，如何下载harbor的私有项目镜像？
在K8S中，如何下载harbor的私有项目镜像？
游客mldfis24krfue
58 0
cheems~
|
7月前
|
存储 JSON 算法
docker私有镜像仓库的搭建及认证
docker私有镜像仓库的搭建及认证
cheems~
511 1
基层搬砖的Panda
|
7月前
|
NoSQL 应用服务中间件 数据安全/隐私保护
Docker镜像创建及管理（Hub官方仓库使用及私有注册中心搭建）
Docker镜像创建及管理（Hub官方仓库使用及私有注册中心搭建）
基层搬砖的Panda
663 0
CodeDevMaster
|
存储 安全 数据安全/隐私保护
企业级镜像仓库Harbor的安装与配置
Harbor是一个开源的容器镜像仓库管理系统，具有丰富的安全和管理功能。它可以在企业环境中搭建私有仓库，并提供可信度、多租户支持、定制性等特点。
CodeDevMaster
898 1
云原生架构之美
|
存储 安全 Linux
私有镜像仓库 Harbor 极简搭建指南（HTTP 版）
私有镜像仓库 Harbor 极简搭建指南（HTTP 版）
云原生架构之美
398 0

热门文章

最新文章

  • 1
    基于区块链的机器学习模型创建方案
  • 2
    阿里云服务器ECS搭建个人网站新手教程（超详细）
  • 3
    上云，你需要了解的账号管理模型
  • 4
    RDS入门——Excel文件转存到RDS数据库实践
  • 5
    优秀的代码都是如何分层的？
  • 6
    3、Python与设计模式--建造者模式
  • 7
    跟阿里云技术专家阙寒一起深度了解视频直播CDN技术
  • 8
    当人工智能遇上区块链，会发生什么？
  • 9
    力挑VMWare 红帽推新虚拟化技术
  • 10
    Ext 4 概述（七）之面板Panel &amp; 杂项
  • 1
    【算法】——快排，分治算法合集
    32
  • 2
    【Spring】方法注解@Bean，配置类扫描路径
    99
  • 3
    【算法】栈
    29
  • 4
    【Spring】获取Bean对象需要哪些注解
    28
  • 5
    【Spring】IoC和DI，控制反转，Bean对象的获取方式
    25
  • 6
    【SpringBug】lombok插件失效，但是没有报错信息，@Data不能生成get和set方法
    26
  • 7
    【SpringMVC】应用分层
    21
  • 8
    【Spring项目】图书管理系统
    17
  • 9
    【Spring配置】idea编码格式导致注解汉字无法保存
    20
  • 10
    【算法】模拟
    19

    • 相关课程

    更多
  • 容器应用更新与灰度发布
  • 数据库仓库升级交付实践指引

    • 相关电子书

    更多
  • Docker 镜像原理和最佳实践
  • Docker镜像原理和最佳实践
  • 采用Harbor开源企业级Registry实现高效安全的镜像

    • 相关实验场景

    更多
  • 通过ACR快速部署网站应用
  • Docker镜像管理快速入门
  • 通过容器镜像仓库与容器服务快速部署spring-hello应用
  • 容器镜像的制作2
  • 容器镜像管理命令
  • 使用阿里云容器服务和容器网络文件系统搭建WordPress网站
    • 下一篇
    DataWorks售前咨询