AI 助理
备案控制台
开发者社区 云原生 文章 正文

Dragonfly 在 Kubernetes 多集群环境下分发文件和镜像

2023-08-31 550
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云数据库 Tair（兼容Redis），内存型 2GB
推荐场景：
通过缓存加速数据库访问
Redis 开源版，标准版 2GB
推荐场景：
搭建游戏排行榜
简介： Dragonfly 在 Kubernetes 多集群环境下分发文件和镜像

作者简介

戚文博（百蓦）

Dragonfly Maintainer，蚂蚁集团软件工程师

主要负责「基于 P2P 的文件分发以及镜像加速系统」。

本文 2036 字 阅读 8 分钟

Dragonfly 提供高效、稳定、安全的基于 P2P 技术的文件分发和镜像加速系统，并且是云原生架构中镜像加速领域的标准解决方案以及最佳实践。现在为云原生计算机基金会（CNCF）托管作为孵化级（Incubating）项目。

文章主要阐述如何在多集群环境下部署 Dragonfly。一个 Dragonfly 集群管理一个单独网络环境的集群，如果有两个集群是相互隔离的网络环境，就需要有两个 Dragonfly 集群管理各自的集群。

推荐用户在多 Kubernetes 集群场景下，使用一个 Dragonfly 集群管理一个 Kubernetes 集群，二者 1:1 关系。并且使用一个中心化的 Manager 服务去管理多个 Dragonfly 集群。因为对于 Dragonfly，一个 Dragonfly 集群中的所有 Peers 只能在当前 Dragonfly 集群内 P2P 传输数据，所以一定要保证一个 Dragonfly 集群中的所有 Peers 网络是互通的。那么如果一个 Dragonfly 集群管理一个 Kubernetes 集群，那么代表集群内的 Peers 只在 Kubernetes 集群维度进行 P2P 传输数据。

图片

准备 Kubernetes 集群

如果没有可用的 Kubernetes 集群进行测试，推荐使用 Kind[1]。

创建 Kind 多节点集群配置文件 kind-config.yaml，配置如下:

kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
nodes:
  - role: control-plane
  - role: worker
    extraPortMappings:
      - containerPort: 30950        
        hostPort: 8080    
    labels:      
      cluster: a  
  - role: worker    
    labels:      
      cluster: a  
  - role: worker    
    labels:      
      cluster: b  
  - role: worker    
    labels:      
      cluster: b

使用配置文件创建 Kind 集群：

    kind create cluster --config kind-config.yaml

切换 Kubectl 的 context 到 Kind 集群：

    kubectl config use-context kind-kind

Kind 加载 Dragonfly 镜像

下载 Dragonfly latest 镜像：

    docker pull dragonflyoss/scheduler:latest
    docker pull dragonflyoss/manager:latest
    docker pull dragonflyoss/dfdaemon:latest

Kind 集群加载 Dragonfly latest 镜像：

    kind load docker-image dragonflyoss/scheduler:latest
    kind load docker-image dragonflyoss/manager:latest
    kind load docker-image dragonflyoss/dfdaemon:latest

创建 Dragonfly 集群 A

创建 Dragonfly 集群 A，应该使用 Helm 在当前集群内安装中心化的 Manager、Scheduler、Seed Peer、Peer。

基于 Helm Charts 创建 Dragonfly 集群 A

创建 Helm Charts 的 Dragonfly 集群 A 的配置文件 charts-config-cluster-a.yaml，配置如下：

    containerRuntime:
      containerd:
        enable: true
        injectConfigPath: true
        registries:     
          - 'https://ghcr.io'
    
    scheduler:  
      image: dragonflyoss/scheduler  
      tag: latest  
      nodeSelector:    
        cluster: a  
      replicas: 1  
      metrics:    
        enable: true  
      config:    
        verbose: true   
        pprofPort: 18066
    
    seedPeer:  
      image: dragonflyoss/dfdaemon  
      tag: latest  
      nodeSelector:    
        cluster: a  
      replicas: 1  
      metrics:    
        enable: true  
      config:    
        verbose: true   
        pprofPort: 18066
    
    dfdaemon:  
      image: dragonflyoss/dfdaemon  
      tag: latest  
      nodeSelector:    
        cluster: a  
      metrics:    
        enable: true  
      config:    
        verbose: true    
        pprofPort: 18066
    
    manager:  
      image: dragonflyoss/manager  
      tag: latest  
      nodeSelector:   
        cluster: a  
      replicas: 1  
      metrics:   
        enable: true 
      config:   
        verbose: true  
        pprofPort: 18066
    
    jaeger: 
      enable: true

使用配置文件部署 Helm Charts 的 Dragonfly 集群 A：

    $ helm repo add dragonfly https://dragonflyoss.github.io/helm-charts/
    $ helm install --wait --create-namespace --namespace cluster-a dragonfly dragonfly/dragonfly -f charts-config-cluster-a.yaml
    NAME: dragonfly
    LAST DEPLOYED: Mon Aug  7 22:07:02 2023
    NAMESPACE: cluster-a
    STATUS: deployed
    REVISION: 1
    TEST SUITE: None
    NOTES:
    1. Get the scheduler address by running these commands:  
      export SCHEDULER_POD_NAME=$(kubectl get pods --namespace cluster-a -l "app=dragonfly,release=dragonfly,component=scheduler" -o jsonpath={.items[0].metadata.name})   
      export SCHEDULER_CONTAINER_PORT=$(kubectl get pod --namespace cluster-a $SCHEDULER_POD_NAME -o jsonpath="{.spec.containers[0].ports[0].containerPort}")  
      kubectl --namespace cluster-a port-forward $SCHEDULER_POD_NAME 8002:$SCHEDULER_CONTAINER_PORT  
      echo "Visit http://127.0.0.1:8002 to use your scheduler"
      
    2. Get the dfdaemon port by running these commands:  
      export DFDAEMON_POD_NAME=$(kubectl get pods --namespace cluster-a -l "app=dragonfly,release=dragonfly,component=dfdaemon" -o jsonpath={.items[0].metadata.name})  
      export DFDAEMON_CONTAINER_PORT=$(kubectl get pod --namespace cluster-a $DFDAEMON_POD_NAME -o jsonpath="{.spec.containers[0].ports[0].containerPort}") 
      You can use $DFDAEMON_CONTAINER_PORT as a proxy port in Node.
      
    3. Configure runtime to use dragonfly:  
      https://d7y.io/docs/getting-started/quick-start/kubernetes/

    4. Get Jaeger query URL by running these commands:  
      export JAEGER_QUERY_PORT=$(kubectl --namespace cluster-a get services dragonfly-jaeger-query -o jsonpath="{.spec.ports[0].port}")  
      kubectl --namespace cluster-a port-forward service/dragonfly-jaeger-query 16686:$JAEGER_QUERY_PORT  
      echo "Visit http://127.0.0.1:16686/search?limit=20&lookback=1h&maxDuration&minDuration&service=dragonfly to query download events"

检查 Dragonfly 集群 A 是否部署成功：

    $ kubectl get po -n cluster-a
    NAME                                 READY   STATUS    RESTARTS      AGE
    dragonfly-dfdaemon-7t6wc             1/1     Running   0             3m18s
    dragonfly-dfdaemon-r45bk             1/1     Running   0             3m18s
    dragonfly-jaeger-84dbfd5b56-fmhh6    1/1     Running   0             3m18s
    dragonfly-manager-75f4c54d6d-tr88v   1/1     Running   0             3m18s
    dragonfly-mysql-0                    1/1     Running   0             3m18s
    dragonfly-redis-master-0             1/1     Running   0             3m18s
    dragonfly-redis-replicas-0           1/1     Running   1 (2m ago)    3m18s
    dragonfly-redis-replicas-1           1/1     Running   0             96s
    dragonfly-redis-replicas-2           1/1     Running   0             45s
    dragonfly-scheduler-0                1/1     Running   0             3m18s
    dragonfly-seed-peer-0                1/1     Running   1 (37s ago)   3m18s

创建 Manager REST 服务的 NodePort Service 资源

创建 Manager REST 服务的配置文件 manager-rest-svc.yaml，配置如下：

    apiVersion: v1
    kind: Service
    metadata:  
      name: manager-rest  
      namespace: cluster-a
    spec:  
      type: NodePort   
      ports:    
        - name: http     
        nodePort: 30950 
        port: 8080 
      selector:  
        app: dragonfly  
        component: manager 
        release: dragonfly

使用配置文件创建 Manager REST 服务的 Service 资源：

    kubectl apply -f manager-rest-svc.yaml -n cluster-a

访问 Manager 控制台

使用默认用户名 root，密码 dragonfly 访问 localhost:8080 的 Manager 控制台地址，并且进入控制台。

图片

图片

在 Dragonfly Manager 部署成功后，默认情况下 Dragonfly Manager 在第一次启动的时候，如果没有任何集群，那么会自动创建集群 A 的记录。用户可以点击 Manager 控制台看到集群 A 的详细信息。

图片

创建 Dragonfly 集群 B

创建 Dragonfly 集群 B，需要在 Manager 控制台首先创建 Dragonfly 集群记录，然后再使用 Helm 安装 Scheduler、Seed Peer 和 Peer。

Manager 控制台创建 Dragonfly 集群 B 的记录

点击 ADD CLUSTER 按钮创建集群 B 的记录，注意 IDC 设置为 cluster-2 使其能够跟后面 Peer 配置文件中 IDC 值为 cluster-2 的 Peer 相匹配。

图片

创建 Dragonfly 集群 B 记录成功。

图片

使用 Scopes 配置区分 不同 Dragonfly 集群

Cluster 管辖的 Scopes 信息。Peer 会根据 Dfdaemon 启动的配置文件 host.idc、host.location 以及 host.advertiseIP 的内容上报给 Manager。然后 Manager 选择跟 Cluster Scopes 中 IDC、Location 以及 CIDRs 匹配的 Cluster。被选中的 Cluster 会提供自身的 Scheduler Cluster 和 Seed Peer Cluster 对当前 Peer 进行服务。这样可以通过 Scopes 来区分不同 Cluster 服务的 Peer 群，在多集群场景中非常重要。Peer 的配置文件可以参考文档 dfdaemon config[2]。

如果 Peer 的 Scopes 信息和 Dragonfly 集群匹配，那么会优先使用当前 Dragonfly 集群的 Scheduler 和 Seed Peer 提供服务。也就是说当前 Dragonfly 集群内的 Peer 只能在集群内部进行 P2P 传输数据。如果没有匹配的 Dragonfly 集群，那么使用默认的 Dragonfly 集群提供服务。

Location: Cluster 需要为该 Location 的所有 Peer 提供服务。当对 Peer 配置中的 Location 与 Cluster 中的 Location 配时，Peer 将优先使用 Cluster 的 Scheduler 和 Seed Peer。用“|”分隔，例如“地区|国家|省|城市”。

IDC: Cluster 需要服务 IDC 内的所有 Peer。当 Peer 配置中的 IDC 与 Cluster 中的 IDC 匹配时，Peer 将优先使用 Cluster 的 Scheduler 和 Seed Peer。IDC 在 Scopes 内的优先级高于 Location。

CIDRs: Cluster 需要为 CIDR 中的所有 Peer 提供服务。当 Peer 启动时，将在 Peer 配置中使用 Advertise IP，如果 Peer 配置中的 Advertise IP 为空， 则 Peer 将自动获取 Expose IP 作为 Advertise IP。当 Peer 上报的 IP 与 Cluster 中的 CIDR 匹配时，Peer 将优先使用 Cluster 的 Scheduler 和 Seed Peer。CIDR 在 Scopes 内的优先级高于 IDC。

基于 Helm Charts 创建 Dragonfly 集群 B

创建 Helm Charts 文件的内容可以在 Manager 控制台对应的 Dragonfly 集群信息详情中查看。

图片

  • Scheduler.config.manager.schedulerClusterID 是 Manager 控制台的 cluster-2 集群信息中的 Scheduler cluster ID 值。
  • Scheduler.config.manager.addr 是 Manager 的 GRPC 服务地址。
  • seedPeer.config.scheduler.manager.seedPeer.clusterID 是 Manager 控制台的 cluster-2 集群信息中的 Seed peer cluster ID 值。
  • seedPeer.config.scheduler.manager.netAddrs[0].addr 是 Manager 的 GRPC 服务地址。
  • dfdaemon.config.host.idc 是 Manager 控制台的 cluster-2 集群信息中的 IDC 值。
  • dfdaemon.config.scheduler.manager.netAddrs[0].addr 是 Manager 的 GRPC 服务地址。
  • externalManager.host 是 Manager 的 GRPC 服务的 Host。
  • externalRedis.addrs[0] 是 Redis 的服务地址。

创建 Helm Charts 的 Dragonfly 集群 B 的配置文件 charts-config-cluster-b.yaml，配置如下:

containerRuntime:
  containerd:
    enable: true
    injectConfigPath: true
    registries:
      - 'https://ghcr.io'

scheduler:
  image: dragonflyoss/scheduler
  tag: latest
  nodeSelector:
    cluster: b
  replicas: 1
  config:
    manager:
      addr: dragonfly-manager.cluster-a.svc.cluster.local:65003
      schedulerClusterID: 2

seedPeer:
  image: dragonflyoss/dfdaemon
  tag: latest
  nodeSelector:
    cluster: b
  replicas: 1
  config:
    scheduler:
      manager:
        netAddrs:
          - type: tcp
            addr: dragonfly-manager.cluster-a.svc.cluster.local:65003
        seedPeer:
          enable: true
          clusterID: 2

dfdaemon:
  image: dragonflyoss/dfdaemon
  tag: latest
  nodeSelector:
    cluster: b
  config:
    host:
      idc: cluster-2
    scheduler:
      manager:
        netAddrs:
          - type: tcp
            addr: dragonfly-manager.cluster-a.svc.cluster.local:65003

manager:
  enable: false

externalManager:
  enable: true
  host: dragonfly-manager.cluster-a.svc.cluster.local
  restPort: 8080
  grpcPort: 65003

redis:
  enable: false

externalRedis:
  addrs:
    - dragonfly-redis-master.cluster-a.svc.cluster.local:6379
  password: dragonfly

mysql:
  enable: false

jaeger:
  enable: true

使用配置文件部署 Helm Charts 的 Dragonfly 集群 B:

$ helm install --wait --create-namespace --namespace cluster-b dragonfly dragonfly/dragonfly -f charts-config-cluster-b.yaml
NAME: dragonfly
LAST DEPLOYED: Mon Aug  7 22:13:51 2023
NAMESPACE: cluster-b
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
1. Get the scheduler address by running these commands:
  export SCHEDULER_POD_NAME=$(kubectl get pods --namespace cluster-b -l "app=dragonfly,release=dragonfly,component=scheduler" -o jsonpath={.items[0].metadata.name})
  export SCHEDULER_CONTAINER_PORT=$(kubectl get pod --namespace cluster-b $SCHEDULER_POD_NAME -o jsonpath="{.spec.containers[0].ports[0].containerPort}")
  kubectl --namespace cluster-b port-forward $SCHEDULER_POD_NAME 8002:$SCHEDULER_CONTAINER_PORT
  echo "Visit http://127.0.0.1:8002 to use your scheduler"

2. Get the dfdaemon port by running these commands:
  export DFDAEMON_POD_NAME=$(kubectl get pods --namespace cluster-b -l "app=dragonfly,release=dragonfly,component=dfdaemon" -o jsonpath={.items[0].metadata.name})
  export DFDAEMON_CONTAINER_PORT=$(kubectl get pod --namespace cluster-b $DFDAEMON_POD_NAME -o jsonpath="{.spec.containers[0].ports[0].containerPort}")
  You can use $DFDAEMON_CONTAINER_PORT as a proxy port in Node.

3. Configure runtime to use dragonfly:
  https://d7y.io/docs/getting-started/quick-start/kubernetes/


4. Get Jaeger query URL by running these commands:
  export JAEGER_QUERY_PORT=$(kubectl --namespace cluster-b get services dragonfly-jaeger-query -o jsonpath="{.spec.ports[0].port}")
  kubectl --namespace cluster-b port-forward service/dragonfly-jaeger-query 16686:$JAEGER_QUERY_PORT
  echo "Visit http://127.0.0.1:16686/search?limit=20&lookback=1h&maxDuration&minDuration&service=dragonfly to query download events"

检查 Dragonfly 集群 B 是否部署成功：

$ kubectl get po -n dragonfly-system
NAME                                READY   STATUS    RESTARTS   AGE
dragonfly-dfdaemon-q8bsg            1/1     Running   0          67s
dragonfly-dfdaemon-tsqls            1/1     Running   0          67s
dragonfly-jaeger-84dbfd5b56-rg5dv   1/1     Running   0          67s
dragonfly-scheduler-0               1/1     Running   0          67s
dragonfly-seed-peer-0               1/1     Running   0          67s

创建 Dragonfly 集群 B 成功。

图片

使用 Dragonfly 在多集群环境下分发镜像

集群 A 中 Containerd 通过 Dragonfly 首次回源拉镜像

在 kind-worker Node 下载 ghcr.io/dragonflyoss/dragonfly2/scheduler:v2.0.5 镜像：

    docker exec -i kind-worker /usr/local/bin/crictl pull ghcr.io/dragonflyoss/dragonfly2/scheduler:v2.0.5

暴露 Jaeger 16686 端口：

    kubectl --namespace cluster-a port-forward service/dragonfly-jaeger-query 16686:16686

进入 Jaeger 页面 \<http://127.0.0.1:16686/search >，搜索 Tags 值为 http.url="/v2/dragonflyoss/dragonfly2/scheduler/blobs/sha256:82cbeb56bf8065dfb9ff5a0c6ea212ab3a32f413a137675df59d496e68eaf399?ns=ghcr.io" Tracing：

图片

Tracing 详细内容：

图片

集群 A 内首次回源时，下载 82cbeb56bf8065dfb9ff5a0c6ea212ab3a32f413a137675df59d496e68eaf399 层需要消耗时间为 1.47s。

集群 A 中 Containerd 下载镜像命中 Dragonfly 远程 Peer 的缓存

在 kind-worker2 Node 下载 ghcr.io/dragonflyoss/dragonfly2/scheduler:v2.0.5 镜像：

    docker exec -i kind-worker2 /usr/local/bin/crictl pull ghcr.io/dragonflyoss/dragonfly2/scheduler:v2.0.5

暴露 Jaeger 16686 端口：

    kubectl --namespace cluster-a port-forward service/dragonfly-jaeger-query 16686:16686

进入 Jaeger 页面 \<http://127.0.0.1:16686/search >，搜索 Tags 值为 http.url="/v2/dragonflyoss/dragonfly2/scheduler/blobs/sha256:82cbeb56bf8065dfb9ff5a0c6ea212ab3a32f413a137675df59d496e68eaf399?ns=ghcr.io" Tracing：

图片

Tracing 详细内容：

图片

集群 A 中命中远程 Peer 缓存时，下载 82cbeb56bf8065dfb9ff5a0c6ea212ab3a32f413a137675df59d496e68eaf399 层需要消耗时间为 37.48ms。

集群 B 中 Containerd 通过 Dragonfly 首次回源拉镜像

在 kind-worker3 Node 下载 ghcr.io/dragonflyoss/dragonfly2/scheduler:v2.0.5 镜像：

    docker exec -i kind-worker3 /usr/local/bin/crictl pull ghcr.io/dragonflyoss/dragonfly2/scheduler:v2.0.5

暴露 Jaeger 16686 端口：

    kubectl --namespace cluster-b port-forward service/dragonfly-jaeger-query 16686:16686

进入 Jaeger 页面 \<http://127.0.0.1:16686/search >，搜索 Tags 值为 http.url="/v2/dragonflyoss/dragonfly2/scheduler/blobs/sha256:82cbeb56bf8065dfb9ff5a0c6ea212ab3a32f413a137675df59d496e68eaf399?ns=ghcr.io" Tracing：

图片

Tracing 详细内容：

图片

集群 B 中命中远程 Peer 缓存时，下载 82cbeb56bf8065dfb9ff5a0c6ea212ab3a32f413a137675df59d496e68eaf399 层需要消耗时间为 4.97s。

集群 B 中 Containerd 下载镜像命中 Dragonfly 远程 Peer 的缓存

在 kind-worker4 Node 下载 ghcr.io/dragonflyoss/dragonfly2/scheduler:v2.0.5 镜像：

    docker exec -i kind-worker4 /usr/local/bin/crictl pull ghcr.io/dragonflyoss/dragonfly2/scheduler:v2.0.5

暴露 Jaeger 16686 端口：

    kubectl --namespace cluster-b port-forward service/dragonfly-jaeger-query 16686:16686

进入 Jaeger 页面 \<http://127.0.0.1:16686/search > ，搜索 Tags 值为 http.url="/v2/dragonflyoss/dragonfly2/scheduler/blobs/sha256:82cbeb56bf8065dfb9ff5a0c6ea212ab3a32f413a137675df59d496e68eaf399?ns=ghcr.io" Tracing：

图片

Tracing 详细内容：

图片

集群 B 中命中远程 Peer 缓存时，下载 82cbeb56bf8065dfb9ff5a0c6ea212ab3a32f413a137675df59d496e68eaf399 层需要消耗时间为 14.53ms。

Dragonfly Star 一下✨：

https://github.com/dragonflyoss/Dragonfly2

相关链接

[1]Kind：https://kind.sigs.k8s.io/

[2]dfdaemon config：[https: //d7y.io/zh/docs/next/reference/configuration/dfdaemon/]
[3]Dragonfly 官网：https://d7y.io/

[4]Dragonfly Github 仓库：https://github.com/dragonflyoss/Dragonfly2

[5]Dragonfly Slack Channel（ #dragonfly on CNCF Slack）：https://cloud-native.slack.com/?redir=%2Fmessages%2Fdragonfly%2F

[6]Dragonfly Discussion Group:  dragonfly-discuss@googlegroups.com

[7]Dragonfly Twitter（ @dragonfly\_oss）：https://twitter.com/dragonfly_oss

[8]Nydus Github 仓库: https://github.com/dragonflyoss/image-service

[9]Nydus 官网: https://nydus.dev/

推荐阅读

Dragonfly 发布 v2.1.0 版本!

Dragonfly 中 P2P 传输协议优化

蚂蚁 SOFAServerless 微服务新架构的探索与实践

超越边界：FaaS 的应用实践和未来展望

文章标签：
容器服务Kubernetes版
云数据库 Tair（兼容 Redis）
Dragonfly
容器
Kubernetes
缓存
Cloud Native
关键词：
容器服务Kubernetes版集群
容器服务Kubernetes版环境
容器服务Kubernetes版镜像
容器服务Kubernetes版文件
容器服务Kubernetes版分发
相关实践学习
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化，容器是完全使用沙箱机制，相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用，获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道，以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中，我们将全面的讲解Docker技术栈，从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。 &nbsp; &nbsp; 相关的阿里云产品：容器服务 ACK 容器服务 Kubernetes 版（简称 ACK）提供高性能可伸缩的容器应用管理能力，支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力，打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
SOFAStack社区-麟光
目录
相关文章
容器小师妹
|
4月前
|
资源调度 Kubernetes 调度
从单集群到多集群的快速无损转型：ACK One 多集群应用分发
ACK One 的多集群应用分发，可以最小成本地结合您已有的单集群 CD 系统，无需对原先应用资源 YAML 进行修改，即可快速构建成多集群的 CD 系统，并同时获得强大的多集群资源调度和分发的能力。
容器小师妹
163 9
阿里云云原生
|
4月前
|
资源调度 Kubernetes 调度
从单集群到多集群的快速无损转型：ACK One 多集群应用分发
本文介绍如何利用阿里云的分布式云容器平台ACK One的多集群应用分发功能，结合云效CD能力，快速将单集群CD系统升级为多集群CD系统。通过增加分发策略（PropagationPolicy）和差异化策略（OverridePolicy），并修改单集群kubeconfig为舰队kubeconfig，可实现无损改造。该方案具备多地域多集群智能资源调度、重调度及故障迁移等能力，帮助用户提升业务效率与可靠性。
阿里云云原生
181 7
阿里云计算巢-壬云
|
8月前
|
缓存 Kubernetes Docker
GitLab Runner 全面解析：Kubernetes 环境下的应用
GitLab Runner 是 GitLab CI/CD 的核心组件，负责执行由 `.gitlab-ci.yml` 定义的任务。它支持多种执行方式（如 Shell、Docker、Kubernetes），可在不同环境中运行作业。本文详细介绍了 GitLab Runner 的基本概念、功能特点及使用方法，重点探讨了流水线缓存（以 Python 项目为例）和构建镜像的应用，特别是在 Kubernetes 环境中的配置与优化。通过合理配置缓存和镜像构建，能够显著提升 CI/CD 流水线的效率和可靠性，助力开发团队实现持续集成与交付的目标。
阿里云计算巢-壬云
1303 6
蓝易云
|
6月前
|
存储 Kubernetes 监控
K8s集群实战：使用kubeadm和kuboard部署Kubernetes集群
总之，使用kubeadm和kuboard部署K8s集群就像回归童年一样，简单又有趣。不要忘记，技术是为人服务的，用K8s集群操控云端资源，我们不过是想在复杂的世界找寻简单。尽管部署过程可能遇到困难，但朝着简化复杂的目标，我们就能找到意义和乐趣。希望你也能利用这些工具，找到你的乐趣，满足你的需求。
蓝易云
621 33
蓝易云
|
6月前
|
Kubernetes 开发者 Docker
集群部署：使用Rancher部署Kubernetes集群。
以上就是使用 Rancher 部署 Kubernetes 集群的流程。使用 Rancher 和 Kubernetes，开发者可以受益于灵活性和可扩展性，允许他们在多种环境中运行多种应用，同时利用自动化工具使工作负载更加高效。
蓝易云
355 19
阿里云基础设施.
|
6月前
|
人工智能 分布式计算 调度
打破资源边界、告别资源浪费：ACK One 多集群Spark和AI作业调度
ACK One多集群Spark作业调度，可以帮助您在不影响集群中正在运行的在线业务的前提下，打破资源边界，根据各集群实际剩余资源来进行调度，最大化您多集群中闲置资源的利用率。
阿里云基础设施.
250 26
技术小达人
|
6月前
|
Prometheus Kubernetes 监控
OpenAI故障复盘丨如何保障大规模K8s集群稳定性
OpenAI故障复盘丨如何保障大规模K8s集群稳定性
技术小达人
208 0
OpenAI故障复盘丨如何保障大规模K8s集群稳定性
阿里云基础设施.
|
8月前
|
缓存 容灾 网络协议
ACK One多集群网关：实现高效容灾方案
ACK One多集群网关可以帮助您快速构建同城跨AZ多活容灾系统、混合云同城跨AZ多活容灾系统，以及异地容灾系统。
阿里云基础设施.
271 19
阿里云基础设施.
|
7月前
|
运维 分布式计算 Kubernetes
ACK One多集群Service帮助大批量应用跨集群无缝迁移
ACK One多集群Service可以帮助您，在无需关注服务间的依赖，和最小化迁移风险的前提下，完成跨集群无缝迁移大批量应用。
阿里云基础设施.
126 0
蓝易云
|
9月前
|
Kubernetes Ubuntu 网络安全
ubuntu使用kubeadm搭建k8s集群
通过以上步骤，您可以在 Ubuntu 系统上使用 kubeadm 成功搭建一个 Kubernetes 集群。本文详细介绍了从环境准备、安装 Kubernetes 组件、初始化集群到管理和使用集群的完整过程，希望对您有所帮助。在实际应用中，您可以根据具体需求调整配置，进一步优化集群性能和安全性。
蓝易云
700 13

热门文章

最新文章

  • 1
    关于阿里云 Kubernetes 容器服务（ACK）添加镜像仓库的快速说明
  • 2
    基于 Azure DevOps 与阿里云 ACK 构建企业级 CI/CD 流水线
  • 3
    使用阿里云容器服务Kubernetes实现蓝绿发布功能
  • 4
    Kubernetes中的Pod无法访问外网-Ubuntu16.04 LTS
  • 5
    Hadoop大数据平台实战(05)：深入Spark Cluster集群模式YARN vs Mesos vs Standalone vs K8s
  • 6
    Kubernetes 1.5配置Job
  • 7
    Argo 项目入驻 CNCF，一文解析 Kubernetes 原生工作流
  • 8
    rancher备份K8S集群数据到minio方案
  • 9
    K8S常见的持久化(存储)方案用法详解
  • 10
    k8s集群namespace一直处于Terminating状态不释放解决办法
  • 1
    Kubernetes 的配置资源 ConfigMap（01部分）
    204
  • 2
    K8S集群管理：用名字空间分隔系统资源
    103
  • 3
    如何在 Kubernetes 中创建 Pod
    493
  • 4
    如何在 Kubernetes 中使用命名空间
    606
  • 5
    Kubernetes容器运行时：Containerd vs Docke
    1246
  • 6
    Docker系列.Docker Desktop中如何启用Kubernetes
    1438
  • 7
    运维开发.Kubernetes探针与应用
    481
  • 8
    基于Kubernetes v1.25.0和Docker部署高可用集群（03部分）
    256
  • 9
    AHPA：Kubernetes弹性伸缩的预言家，揭秘未来资源使用的神秘面纱！
    210
  • 10
    eBPF技术大揭秘：一张全景图彻底改变Kubernetes问题排查，助你成为云原生时代的超级英雄！
    269

    • 相关课程

    更多
  • 如何使用Kubernetes监控定位慢调用
  • 使用Kubernetes监控发现资源使用，流量分布不均匀的问题
  • 如何发现Kubernetes中服务和工作负载的异常
  • 企业级运维之云原生与Kubernetes实战课程
  • 阿里云 EMR on ACK 实战
  • 阿里云K8S微服务部署案例

    • 相关电子书

    更多
  • ACK集群类型选择最佳实践
  • 容器服务重磅升级，打造高效安全、智能无界新平台
  • 《拥抱容器存储，使用阿里云容器服务 ACK +文件存储 NAS 构建现代化企业应用》

    • 推荐镜像

    更多
  • kubernetes
    • 下一篇
    2025云栖大会，阿里云百炼邀请您的参与和见证