Docker生态系统系列之五:调度和编排

简介: 本文讲的是Docker生态系统系列之五:调度和编排,【编者的话】调度和编排是集群管理中的重要组成部分,本文对这两者的概念、功能和使用都做了详细的介绍,最后列举了目前Docker生态环境中的调度工具。容器管理和调度器是在分布式主机上实现容器化服务的一个关键步骤。
本文讲的是Docker生态系统系列之五:调度和编排 【编者的话】调度和编排是集群管理中的重要组成部分,本文对这两者的概念、功能和使用都做了详细的介绍,最后列举了目前Docker生态环境中的调度工具。容器管理和调度器是在分布式主机上实现容器化服务的一个关键步骤。它提供主要的管理功能为启动和控制应用提供的服务。实现有效的调度可以事半功倍。

docker_ecosystem_tw_1024.png

介绍

Docker提供了编译、上传、下载、启动和停止容器的所有必要功能。对于在一个单主机环境上最小数量容器的情况下管理这些过程是很合适的。

但是,很多Docker的使用者正在应用这个平台跨多个主机管理大量的容器。集群的Docker宿主机面对特殊的管理困难需要一些不同的工具。

在这篇指南中,我们将讨论Docker调度和编排工具。他们代表主要的容器管理接口,方便分布式部署的管理员使用。

调度容器、编排和集群管理

当应用被扩展到多台宿主机,管理每个宿主系统和抽象化底层平台的复杂性变得更有挑战。编排是一个广义的概念,它是指容器调度、集群管理和可能其他主机供应配置。

在这个环境下,『调度』指的是一个管理员可以在一个宿主机上启动一个服务文件来实现如何运行特定的容器。当调度指加载服务配置的特定操作时,一个更普遍的情况下,调度器的责任是嵌入一个宿主系统来管理任何需要的服务。

容器管理是控制一组宿主机的过程。这包括添加、移除主机从一个集群中,获取宿主机或容器的当前状态信息,启动或管理进程。集群管理与调度紧密相连,因为调度必须有权限到集群中的每个宿主机来管理服务。也就是这个原因,这两个功能通常由一个工具实现。

为了在整个集群的宿主机上启动和管理容器,调度这必须与每台宿主机上的init系统进行交互。同时,为了管理的简便,调度器抽象出一个统一视图关于整个集群上所有服务的状态。这最终功能想一个集群范围的init系统。正是这个原因,许多调度器复制了init系统的命令结构。

调度器的最大的责任之一是宿主选择。如果管理员决定在集群中启动一个服务(容器),调度器通常是被要求自动的选择一个主机。管理者可以选择性提供调度限制,根据他们的要求或者需要,但是调度器是最终负责执行这些要求。

调度器如何做调度决策

调度器通常定义一个默认调度策略。这决定了服务在没有管理员输入时将如何调度。例如,一个调度器可能选择最近激活服务的宿主机上部署新服务。

调度器通常提供覆盖机制,使得管理员可以调优特定的进程来满足特殊需求。例如,假定有两个容器必须同时运行在同一个宿主机上,因为它们作为一个单元来运行,这种关联性就可以在调度时被声明。同样,如果两个容器必须不能在同一个宿主机上运行,例如这是为了确保同一个服务的两个示例的高可用性,它也可以被预定义。

一个调度器应该注意的其他限制条件也可以通过任意的元数据来表示。单独主机可以被调度器打上标签和定位。这很有必要,例如如果一个主机包含了某个应用必须的数据卷。一些服务可能需要被部署在集群中的每个独立主机上。大多数的调度器都支持上面的操作。

调度器提供什么样的集群管理功能

调度通常捆绑在集群管理功能上,因为这两个功能都要求在特定的主机或者在集群上进行操作。

集群管理软件可能用来查询信息,关于集群中的机器,增加或者删除机器,甚至连接到某台主机上来进行更细粒度的管理操作。这些功能可能会包含在调度器中,或者是其他进程的功能。

通常来说,集群管理与服务发现工具或者分布式键值存储进行关联。它们很适合用来存储这类信息,因为信息分散在集群中,并且这种提供这种功能的平台已经存在。

由于这个,如果调度器自身并不提供方法,那么集群管理的操作可能不得不利用提供的API来修改配置值。例如,集群成员的变化可能需要通过从发现服务中的修改来处理。

键值对存储通常也是各主机元数据存储的地方。像之前提到过的一样,对主机打标签使得你可以定位不同的主机或者不同组的主机进行调度。

多容器部署如何调度

有时,尽管一个应用的不同组件已经被打碎成离散服务,它们依然需要被作为一个整体来管理。有时候它可能并不起作用,当部署了一个服务而没有部署另一个,因为他们相互依赖。

高级调度策略通过一些其他项目考虑了容器组的存在。这种功能获得的收益确实非常少。

分组容器管理使得管理员可以将一个集合的容器作为一个单独应用来处理。运行紧密关联的组件作为一个单元简化了应用管理,也不会牺牲功能划分带来的好处。事实上,它使得管理员从容器化和面向服务体系架构上持续保持收益,同时尽量减少额外的管理开销。

分组容器可以简化调度它们和提供同时启动或关闭的能力。它同样可以使得一些复杂的场景,例如为每组应用配置单独的子网、扩展整组的容器。

供应是什么

与集群管理相关的一个概念就是供应。供应是指将一个新主机上线并完成基本配置使得它们能够工作的一个过程。在Docker部署范畴中,这通常指的是配置Docker并创建新的主机到现有集群中。

供应一个主机的最终结果通常是新系统可以工作,而这其中的方法则严重依赖所使用的工具和宿主类型。例如,如果这个宿主机是个虚拟机,如 vagrant 工具可以用来创建一个新的宿主机。大多数的云提供商使得你可以通过API来创建新的宿主机。相对的,供应一些裸硬件的宿主可能需要一些手工步骤。配置工具如 Chef Puppet Ansible Salt 可能被用来处理宿主机初始化配置,并提供相应信息来接入现有集群。

供应可能被作为管理员初始化系统的过程而忽视,或者它可能被嵌入到集群管理工具用于自动扩展。后者包括了定义需求额外主机的过程以及自动触发的条件。例如,如果你的应用的负载很高,你可能希望让你的系统增加额外的机器并水平扩展容器以缓解负载。

常用的调度器有哪些

在基本的调度和集群管理功能方面,有如下项目:
  • fleet:Fleet是CoreOS的一个调度和集群管理组件。它从集群中etcd中读取每一个宿主机上的连接信息,然后提供systemd类似的服务管理。
  • marathon:Marathon是Mesosphere的一个调度和服务管理组件。它配合mesos来控制长时间运行的服务,并为进程和容器管理提供Web界面。
  • Swarm:Docker的Swarm是一个2014年12月发布的调度器。它旨在提供一个健壮的调度器,采用Docker原生句法使得可以在宿主机上启动容器和进行供应。

作为集群管理策略的一部分,Mesosphere配置依赖以下组件:
  • mesos:Apache mesos是一个抽象和管理集群中所有宿主资源的工具。从整个集群到构建在上面的组件,它可以表示一组可用的资源。它描述自己为集群配置的kernel

在高级调度和将整租容器作为一个单元方面,有以下项目:
  • Kubernetes:这是Google的高级调度器,kubernetes提供对你的基础设备上的容器更多的控制。容器可以被打标签、分组和配置通信子网。
  • compose:Docker的compose项目通过定义配置文件来提供容器组管理功能。它通过Docker的link来分析容器间的依赖关系。

总结

容器管理和调度器是在分布式主机上实现容器化服务的一个关键步骤。它提供主要的管理功能为启动和控制应用提供的服务。实现有效的调度可以事半功倍。

本系列的其他文章

Docker已经为开发者和管理员提供一个简单的平台来创建和部署可扩展的应用。在这个系列中,我们将探索Docker如何与其他组件整合在一起,并用它们提供的工具集来便捷地提供高可用性的分布式系统。
  1. 常用组件介绍(已翻译)
  2. 容器化的综述(已翻译)
  3. 服务发现和分布式配置存储(已翻译)
  4. 网络与通信(已翻译)
  5. 调度与编制(本文)

原文:The Docker Ecosystem: Scheduling and Orchestration(译者:陈杰)

===============================================
译者介绍
陈杰 ,北京理工大学计算机学院在读博士,研究方向是自然语言处理在企业网络信誉评价方面的应用,平时也乐于去实现一些突发的想法。在疲于配置系统环境时发现了Docker,跟大家一起学习、使用和研究Docker。

原文发布时间为:2015-05-23
本文作者:Sonyfe25cp
本文来自云栖社区合作伙伴DockerOne,了解相关信息可以关注DockerOne。
原文标题:Docker生态系统系列之五:调度和编排
目录
相关文章
|
2月前
|
缓存 Kubernetes 数据中心
在Docker中,如何控制容器占用系统资源(CPU,内存)的份额?
在Docker中,如何控制容器占用系统资源(CPU,内存)的份额?
|
2月前
|
关系型数据库 MySQL Linux
一文教会你如何在Linux系统中使用Docker安装Mysql 5.7版本 【详细过程+图解】
这篇文章提供了在Linux系统中使用Docker安装Mysql 5.7版本的详细过程和图解,包括安装指定版本、创建实例、启动、使用Navicat连接测试、文件挂载与端口映射、进入容器、配置文件修改以及重新启动容器等步骤。
一文教会你如何在Linux系统中使用Docker安装Mysql 5.7版本 【详细过程+图解】
|
3月前
|
存储 关系型数据库 数据安全/隐私保护
【Docker实战项目】使用Docker部署Plik 临时文件上传系统
【7月更文挑战第23天】使用Docker部署Plik 临时文件上传系统
44 1
【Docker实战项目】使用Docker部署Plik 临时文件上传系统
|
2月前
|
数据可视化 应用服务中间件 nginx
使用Docker搭建网站流量可视化统计系统
使用Docker搭建网站流量可视化统计系统
|
2月前
|
Java BI 测试技术
【Docker项目实战】使用Docker部署SurveyKing调查问卷系统和考试系统
【8月更文挑战第5天】使用Docker部署SurveyKing调查问卷系统和考试系统
52 1
|
3月前
|
Java Nacos Docker
使用docker compose 编排微服务发布
使用docker compose 编排微服务发布
45 3
|
2月前
|
安全 Ubuntu Shell
深入挖掘Debian系统中安装Docker
【8月更文挑战第21天】在Debian系统中安装Docker需按步骤操作:首先确保软件包更新,执行`sudo apt update`并安装必要软件包支持HTTPS;接着添加Docker官方GPG密钥以验证包的完整性和安全性;然后设置Docker稳定版仓库,通过`tee`命令配置仓库文件;再更新软件包索引;最后安装Docker Engine并通过运行测试容器确认安装成功。此指南适用于多数Debian版本,如遇问题请查阅官方文档。
108 0
|
2月前
|
NoSQL 数据可视化 Linux
一文教会你如何在Linux系统中使用Docker安装Redis 、以及如何使用可视化工具连接【详细过程+图解】
这篇文章详细介绍了如何在Linux系统中使用Docker安装Redis,并提供了使用可视化工具连接Redis的步骤。内容包括安装Redis镜像、创建外部配置文件、映射文件和端口、启动和测试Redis实例、配置数据持久化存储,以及使用可视化工具连接和操作Redis数据库的过程。
|
2月前
|
JSON 文字识别 Linux
百度飞桨(PaddlePaddle) - PP-OCRv3 文字检测识别系统 基于 Paddle Serving快速使用(服务化部署 - Docker)
百度飞桨(PaddlePaddle) - PP-OCRv3 文字检测识别系统 基于 Paddle Serving快速使用(服务化部署 - Docker)
92 0
|
3月前
|
Ubuntu Devops 云计算
ubuntu docker-compose编排容器并且设置自启动
使用Docker Compose编排容器并设置为Ubuntu系统的自启动服务,不仅优化了应用的部署流程,也提升了运行时的可管理性和可靠性。通过上述步骤,您可以轻松实现这一目标。维护此类服务时,记得定期检查和更新您的 `docker-compose.yml`文件,确保所有的服务都符合当前的业务需求和技术标准。在云计算和微服务架构不断演进的今天,掌握Docker Compose等工具对于DevOps和软件工程师来说,变得尤为重要。
140 3
下一篇
无影云桌面