阿里云一键部署 Docker Datacenter-阿里云开发者社区

开发者社区> 阿里云容器服务 ACK> 正文

阿里云一键部署 Docker Datacenter

简介: 使用阿里云ROS一键部署Docker Datacenter

DDC 简介

2016年2月下旬,Docker发布了企业级容器管理和服务部署的整体解决方案平台-Docker Datacenter,简称DDC。DDC 有三个组件构成:

  1. Docker Universal Control Plane(Docker UCP),这是套图形化管理界面;
  2. Docker Trusted Registry(DTR),授信的Docker镜像仓库;
  3. Docker Engine商业版,提供技术支持的Docker引擎。

DDC在Docker官网地址是:http://www.docker.com/products/docker-datacenter#

ddc_Enterprise_2_Arch_2_1

DDC 与Docker公司的另外一个在线产品 Docker Cloud 对应。不过DDC主要针对企业用户在内部部署。用户注册自己的Dokcer镜像到DTR,UCP管理整个Docker集群。并且这两个组件都提供了Web界面。

使用DDC需要购买Licence, 但是Docker公司提供了一个月的试用Licence,可以在Docker官网注册后直接下载。

DDC 一键部署

说了这么多,到底如何部署DDC的环境呢?有一个简单的方式,就是使用阿里云的ROS。通过下面的链接一键部署,就可以做到分分钟创建一套DDC。

一键部署>>>

点击一键部署后,默认会在华北2 region 部署 DDC。 如果你需要调整region,请点击页面右下角的【上一步】,然后重新选择region,接着点击【下一步】,你只需要填入如下图中必填的信息或者根据你的需求调整信息后,点击【创建】按钮就可以部署一套 DDC。

ddc_input_params

DDC 访问

当ROS创建DDC成功后,怎么登录UCP系统,可以进入ROS的栈管理页面,查看刚才创建的栈的概要信息,这里面输出了登录UCP和DTR的地址,如图:

ddc_output

在浏览器中输入红框中的地址就会显示UCP的访问页面,这时输入在安装UCP时创建的管理账号和密码就可以登录进去,接着会提示输入导入Licence文件,请把准备好的Licence导入,就可以进入UCP的控制界面了:

upc_portal

DDC 部署细节

接下来将主要介绍如何通过阿里云的ROS一键部署DDC环境。

ROS部署的DDC架构图

docker_ddc_arch

在上面的基础架构图里面,Controller主要运行UCP组件,DTR运行的就是DTR组件, Worker主要运行客户自己的Docker服务。整个DDC环境都部署在VPC网络之下,所有的ECS加入同一个安全组。每个组件都提供了一个SLB,供外网访问。而运维操作则是通过跳板机实现。另一方面为了提升可用性,整个DDC环境都是高可用部署,也就是说Controller至少有两台,同理DTR也至少有两台。

ROS部署细节介绍

下面详细介绍如何通过ROS模板创建阿里云资源并通过ROS的UserData功能部署DDC环境。

1. 基础资源和网络环境配置

按照上面的架构图,所有节点都在VPC网络中,所以首先使用ROS的ALIYUN::ECS::Vpc, ALIYUN::ECS::VSwitch资源创建DDC的VPC网络。VPC网络和外网是相互隔离的,由于DDC环境的部署需要在线安装Docker Engine,UCP,DTR,所以我们需要配置VPC网络环境使内部节点能够访问外网,同时运维也能访问到VPC中节点。VPC网络的配置只需要用到ALIYUN::ECS::NatGateWay, ALIYUN::ECS::BandwidthPackage, ALIYUN::ECS::SNatEntryALIYUN::ECS::ForwardEntry这四个资源来搞定。并且在VPC网络中提供一台跳板机通过ALIYUN::ECS::ForwardEntry对外暴露22端口。详细的VPC网络配置大家可以参考这篇文章《新玩法,ROS帮你一键搭建NatGateway让VPC与Internet的互访》。

由于所有的节点都在一个VPC网络中,所以只需要创建一个安全组,把所有的机器加入,开放所需端口,在这里如规则开放了22,80,443,2377端口,出规则全部开放。安全组的创建以及所有的配置只需使用ALIYUN::ECS::SecurityGroup资源即可。

2. 部署UCP

部署需要的资源

UCP组件会在至少两台机器上运行,以便提供高可用,一台是master节点,一台是slave。同时它们挂载到一个SLB,用户通过SLB的公网IP访问UCP Web。SLB监听80,443和2377端口。由于master节点需要生成其他节点加入DDC时的token,所以ROS会首先创建一个master ECS并且使用UserData在master ECS启动的时候部署安装UCP组件,然后生成所需token 并记录token信息。接着再创建多个slave节点,使用UserData给slave节点部署UCP组件,并加入DDC环境,和master组成高可用UCP应用。ROS使用了ALIYUN::ECS::Instance创建master节点;使用ALIYUN::ECS::InstanceGroup创建多个slave节点;并通过这两个ALIYUN::ROS::WaitConditionALIYUN::ROS::WaitConditionHandle来监控UserData的执行情况和获取执行结果

当UCP节点创建完成后,都会挂载到SLB,创建,配置SLB以及挂载所有的UCP节点使用了这三个资源:
ALIYUN::SLB::LoadBalancer 创建SLB实例,ALIYUN::SLB::Listener 配置SLB监听那些端口,
ALIYUN::SLB::BackendServerAttachment 把UCP节点加入到SLB监听列表中。

部署安装UCP的UserData脚本主要命令

首先设置Docker软件包秘钥

curl -s 'https://sks-keyservers.net/pks/lookup?op=get&search=0xee6d536cf7dc86e2d7d56f59a178ac6c6238f52e' | apt-key add --import

添加阿里云的Docker源能够确保成功拉取Docker Engine安装包

echo 'deb https://acs-upload.oss-cn-qingdao.aliyuncs.com/1.12/apt/repo ubuntu-trusty main' | tee /etc/apt/sources.list.d/docker.list

安装Docker

curl -sSL https://acs-upload.oss-cn-qingdao.aliyuncs.com/1.12/install.sh | sh

配置拉取UCP镜像的Mirror

echo DOCKER_OPTS='--registry-mirror https://6udu7vtl.mirror.aliyuncs.com' > /etc/default/docker

安装UCP,这个命令只需在master节点执行

docker run --rm -v /var/run/docker.sock:/var/run/docker.sock  --name ucp docker/ucp install --debug --host-address  $ip_addr --admin-username $ucp_admin_username --admin-password $ucp_admin_password --san $ip_addr --san $controller_slb_ip

UCP install的参数解释:

  • --debug 打开debug查看详细的安装信息
  • --host-address 其他节点通过哪个IP访问UCP
  • --admin-username 设置UCP的管理账号
  • --admin-password 设置管理账号的密码
  • --san 指定那些IP或域名能够通过UCP的认证,这里添加了两个,一个是本机IP,一个是SLB的公网IP。这里必须写上SLB的IP地址,因为访问DTR的时候,会redirect到UCP做认证。如果不指定的话,就会直接使用私网IP,这时候必定访问失败。

根据生成token,-q参数控制生成manager或worker类型的token

docker swarm join-token -q manager

如果是slave节点,则安装UCP的命令只需替换成下面的命令即可

docker swarm join --token=$token ${ucp_controller_ip}:2377
token 就是Master节点生成的token
ucp_controller_ip 是安装master节点是指定的 --host-address

详细ROS模板的UCP节点资源定义

"Controller": {
      "DependsOn": "SNatEntry",
      "Properties": {
        "AllocatePublicIP": "false",
        "ImageId": {
          "Ref": "ControllerImageId"
        },
        "InstanceType": {
          "Ref": "ControllerInstanceType"
        },
        "IoOptimized": {
          "Ref": "ControllerIoOptimized"
        },
        "Password": {
          "Ref": "InstancePassword"
        },
        "SecurityGroupId": {
          "Fn::GetAtt": [
            "DefaultSecurityGroup",
            "SecurityGroupId"
          ]
        },
        "SystemDiskCategory": {
          "Ref": "ControllerSystemDiskCategory"
        },
        "UserData": {
          "Fn::Replace": [
            {
              "ros-notify": {
                "Fn::GetAtt": [
                  "ControllerConditionHandle",
                  "CurlCli"
                ]
              }
            },
            {
              "Fn::Join": [
                "",
                [
                  "#!/bin/sh\n",
                  "ucp_admin_username='",
                  {
                      "Ref": "UCPAdminUserName"
                  },
                  "'\n",
                  "ucp_admin_password='",
                  {
                      "Ref": "UCPAdminPassword"
                  },
                  "'\n",
                  "controller_slb_ip='",
                  {
                      "Fn::GetAtt": ["ControllerLoadBalancer", "IpAddress"]
                  },
                  "'\n",
                  "ip_addr=`ifconfig eth0 | awk '/inet addr:/{print $2}' | tr -d 'addr:'`\n",
                  "host_name=`hostname`\n",
                  "sed -i 's/Acquire::http::Proxy/#Acquire::http::Proxy/' /etc/apt/apt.conf\n",
                  "apt-get update\n",
                  "apt-get install -y apt-transport-https\n",
                  "apt-get install -y linux-image-extra-virtual\n",
                  "apt-get install -y curl\n",
                  "apt-get install -y unzip\n",
                  "apt-get install -y jq\n",
                  "curl -s 'https://sks-keyservers.net/pks/lookup?op=get&search=0xee6d536cf7dc86e2d7d56f59a178ac6c6238f52e' | apt-key add --import\n",
                  "echo 'deb https://acs-upload.oss-cn-qingdao.aliyuncs.com/1.12/apt/repo ubuntu-trusty main' | tee /etc/apt/sources.list.d/docker.list\n",
                  "# Installing Docker\n",
                  "curl -sSL https://acs-upload.oss-cn-qingdao.aliyuncs.com/1.12/install.sh | sh\n",
                  "echo DOCKER_OPTS=\"'--registry-mirror https://6udu7vtl.mirror.aliyuncs.com'\" > /etc/default/docker\n",
                  "sudo service docker restart\n",
                  "usermod -aG docker $USER\n",
                  "docker run --rm -v /var/run/docker.sock:/var/run/docker.sock  --name ucp docker/ucp install --debug --host-address  $ip_addr --admin-username $ucp_admin_username --admin-password $ucp_admin_password --san $ip_addr --san $controller_slb_ip\n",
                  "worker_token=`docker swarm join-token -q worker`\n",
                  "manager_token=`docker swarm join-token -q manager`\n",
                  "echo $worker_token, $manager_token > /tmp/tokens\n",
                  "cmd=\"ros-notify -d '{\\\"id\\\" : \\\"tokens\\\", \\\"data\\\" : [\\\"$worker_token\\\", \\\"$manager_token\\\"]}'\"\n",
                  "eval $cmd\n"
                ]
              ]
            }
          ]
        },
        "VSwitchId": {
          "Ref": "PubSubnet"
        },
        "VpcId": {
          "Ref": "Vpc"
        }
      },
      "Type": "ALIYUN::ECS::Instance"
    }

3. 部署DTR

DTR和UCP组件一样也是高可用部署,但是DTR没有master和slave节点之分,ROS可以直接使用ALIYUN::ECS::InstanceGroup一次创建多台DTR节点,当DTR节点启动时,执行UserData脚本部署DTR应用。同时所有的DTR节点挂载自己独立的SLB,SLB监听443,用户通过使用SLB的公网IP直接访问DTR Web页面。

DTR的安装和UCP的类似,只需要把安装UCP的命令换成下面这两个命令即可:

首先要加入DDC和UCP slave节点的命令一样

docker swarm join --token=$token ${ucp_controller_ip}:2377

安装DTR

docker run --rm -i docker/dtr install --debug --ucp-url https://$controller_slb_ip:443 --ucp-node $host_name --dtr-external-url https://$dtr_slb_ip:443 --ucp-username $ucp_admin_username --ucp-password $ucp_admin_password --ucp-insecure-tls  | tee -a /tmp/dtr_install_log,

DTR install的参数:

  • --debug 打开debug开关,查看安装的详细信息
  • --ucp-url 指定UCP的访问地址,这里使用UCP SLB的公网IP
  • --ucp-node 指定安装DTR的机器名
  • --dtr-external-url 供外部访问DTR的URL,指定DTR SLB的公网IP
  • --ucp-username UCP的管理员账号
  • --ucp-password UCP的管理员账号的密码
  • --ucp-insecure-tls 给UCP关闭TLS验证

详细ROS模板的DTR 资源定义

    "DTRNode": {
      "DependsOn": "Controller",
      "Properties": {
        "AllocatePublicIP": "false",
        "ImageId": {
          "Ref": "DTRImageId"
        },
        "InstanceType": {
          "Ref": "DTRInstanceType"
        },
        "IoOptimized": {
          "Ref": "DTRIoOptimized"
        },
        "MaxAmount": {
            "Ref" : "DTRMaxAmount"
        },
        "MinAmount": {
            "Ref" : "DTRMaxAmount"
        },
        "Password": {
          "Ref": "InstancePassword"
        },
        "SecurityGroupId": {
          "Fn::GetAtt": [
            "DefaultSecurityGroup",
            "SecurityGroupId"
          ]
        },
        "SystemDiskCategory": {
          "Ref": "DTRSystemDiskCategory"
        },
        "VSwitchId": {
          "Ref": "PubSubnet"
        },
        "VpcId": {
          "Ref": "Vpc"
        },
        "UserData": {
          "Fn::Replace": [
            {
              "ros-notify": {
                "Fn::GetAtt": [
                  "DTRConditionHandle",
                  "CurlCli"
                ]
              }
            },
            {
              "Fn::Join": [
                "",
                [
                  "#!/bin/sh\n",
                  "ucp_admin_username='",
                  {
                      "Ref": "UCPAdminUserName"
                  },
                  "'\n",
                  "ucp_admin_password='",
                  {
                      "Ref": "UCPAdminPassword"
                  },
                  "'\n",
                  "tokens='",
                  {
                    "Fn::GetAtt": [
                      "ControllerWaitCondition",
                      "Data"
                    ]
                  },
                  "'\n",
                  "ucp_controller_ip='",
                  {
                    "Fn::GetAtt": [
                      "Controller",
                      "PrivateIp"
                    ]
                  },
                  "'\n",
                  "controller_slb_ip='",
                  {
                      "Fn::GetAtt": ["ControllerLoadBalancer", "IpAddress"]
                  },
                  "'\n",
                  "dtr_slb_ip='",
                  {
                      "Fn::GetAtt": ["DTRLoadBalancer", "IpAddress"]
                  },
                  "'\n",
                  "ip_addr=`ifconfig eth0 | awk '/inet addr:/{print $2}' | tr -d 'addr:'`\n",
                  "host_name=`hostname`\n",
                  "sed -i 's/Acquire::http::Proxy/#Acquire::http::Proxy/' /etc/apt/apt.conf\n",
                  "apt-get update\n",
                  "apt-get install -y apt-transport-https\n",
                  "apt-get install -y linux-image-extra-virtual\n",
                  "apt-get install -y curl\n",
                  "apt-get install -y unzip\n",
                  "apt-get install -y jq\n",
                  "curl -s 'https://sks-keyservers.net/pks/lookup?op=get&search=0xee6d536cf7dc86e2d7d56f59a178ac6c6238f52e' | apt-key add --import\n",
                  "echo 'deb https://acs-upload.oss-cn-qingdao.aliyuncs.com/1.12/apt/repo ubuntu-trusty main' | tee /etc/apt/sources.list.d/docker.list\n",
                  "# Installing Docker\n",
                  "curl -sSL https://acs-upload.oss-cn-qingdao.aliyuncs.com/1.12/install.sh | sh\n",
                  "echo DOCKER_OPTS=\"'--registry-mirror https://6udu7vtl.mirror.aliyuncs.com'\" > /etc/default/docker\n",
                  "service docker restart\n",
                  "usermod -aG docker $USER\n",
                  "echo $tokens > /tmp/tokens\n",
                  "token=`echo \"$tokens\" | jq '.tokens'[0] | xargs echo `\n",
                  "echo $token > /tmp/worker_token \n",
                  "docker swarm join --token=$token ${ucp_controller_ip}:2377\n",
                  "sleep 300\n",
                  "docker run --rm -i docker/dtr install --debug --ucp-url https://$controller_slb_ip:443 --ucp-node $host_name --dtr-external-url https://$dtr_slb_ip:443 --ucp-username $ucp_admin_username --ucp-password $ucp_admin_password --ucp-insecure-tls  | tee -a /tmp/dtr_install_log\n",
                  "echo $token > /tmp/fin_worker_token\n",
                  "cmd=\"ros-notify -d '{\\\"data\\\" : \\\"$token\\\"}'\"\n",
                  "eval $cmd\n"
                ]
              ]
            }
          ]
        }
      },
      "Type": "ALIYUN::ECS::InstanceGroup"
    }

4. 部署Worker节点

Worker节点是正真部署用户自己应用的节点,这些节点只需要安装Docker Engine然后加入DDC即可。Worker节点也都是部署在VPC网络,外部访问同样也需要使用SLB,在这里SLB之监听了80端口,大家后续部署的时候可以通过修改ROS模板自己添加需要监听的端口。同DTR一样,ROS使用ALIYUN::ECS::InstanceGroup一次创建多个节点,并用UserData安装Docker engine和加入DDC。

部署Worker节点使用的命令和部署UCP的slave节点一样,只不过使用的Token不同,Worker节点使用的是worker类型的token。

详细ROS模板的Worker资源定义

    "UCPNode": {
      "DependsOn": "Controller",
      "Properties": {
        "AllocatePublicIP": "false",
        "ImageId": {
          "Ref": "UCPImageId"
        },
        "InstanceType": {
          "Ref": "UCPInstanceType"
        },
        "IoOptimized": {
          "Ref": "UCPIoOptimized"
        },
        "MaxAmount": {
          "Ref": "UCPMaxAmount"
        },
        "MinAmount": {
          "Ref": "UCPMaxAmount"
        },
        "Password": {
          "Ref": "InstancePassword"
        },
        "SecurityGroupId": {
          "Fn::GetAtt": [
            "DefaultSecurityGroup",
            "SecurityGroupId"
          ]
        },
        "SystemDiskCategory": {
          "Ref": "UCPSystemDiskCategory"
        },
        "UserData": {
          "Fn::Replace": [
            {
              "ros-notify": {
                "Fn::GetAtt": [
                  "UCPConditionHandle",
                  "CurlCli"
                ]
              }
            },
            {
              "Fn::Join": [
                "",
                [
                  "#!/bin/sh\n",
                  "tokens='",
                  {
                    "Fn::GetAtt": [
                      "ControllerWaitCondition",
                      "Data"
                    ]
                  },
                  "'\n",
                  "ucp_controller_ip='",
                  {
                    "Fn::GetAtt": [
                      "Controller",
                      "PrivateIp"
                    ]
                  },
                  "'\n",
                  "ip_addr=`ifconfig eth0 | awk '/inet addr:/{print $2}' | tr -d 'addr:'`\n",
                  "host_name=`hostname`\n",
                  "sed -i 's/Acquire::http::Proxy/#Acquire::http::Proxy/' /etc/apt/apt.conf\n",
                  "apt-get update\n",
                  "apt-get install -y apt-transport-https\n",
                  "apt-get install -y linux-image-extra-virtual\n",
                  "apt-get install -y curl\n",
                  "apt-get install -y unzip\n",
                  "apt-get install -y jq\n",
                  "curl -s 'https://sks-keyservers.net/pks/lookup?op=get&search=0xee6d536cf7dc86e2d7d56f59a178ac6c6238f52e' | apt-key add --import\n",
                  "echo 'deb https://acs-upload.oss-cn-qingdao.aliyuncs.com/1.12/apt/repo ubuntu-trusty main' | tee /etc/apt/sources.list.d/docker.list\n",
                  "# Installing Docker\n",
                  "curl -sSL https://acs-upload.oss-cn-qingdao.aliyuncs.com/1.12/install.sh | sh\n",
                  "echo DOCKER_OPTS=\"'--registry-mirror https://6udu7vtl.mirror.aliyuncs.com'\" > /etc/default/docker\n",
                  "service docker restart\n",
                  "usermod -aG docker $USER\n",
                  "echo $tokens > /tmp/tokens\n",
                  "token=`echo \"$tokens\" | jq '.tokens'[0] | xargs echo `\n",
                  "echo $token > /tmp/worker_token \n",
                  "cmd=\"ros-notify -d '{\\\"data\\\" : \\\"$token\\\"}'\"\n",
                  "eval $cmd\n",
                  "docker swarm join --token=$token ${ucp_controller_ip}:2377\n",
                  "echo $token > /tmp/fin_worker_token\n"
                ]
              ]
            }
          ]
        },
        "VSwitchId": {
          "Ref": "PubSubnet"
        },
        "VpcId": {
          "Ref": "Vpc"
        }
      },
      "Type": "ALIYUN::ECS::InstanceGroup"
    }

总结

大规模手工部署一个高可用的DDC环境还是有一定的复杂度,利用本文中提供的ROS模板,可以非常方便的帮你一键部署DDC环境,让你把更多的精力放在自己的业务上。

一键部署>>>

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
阿里云容器服务 ACK
使用钉钉扫一扫加入圈子
+ 订阅

云端最佳容器应用运行环境,安全、稳定、极致弹性

官方博客
官网链接