用Mesos分布式架构进行工作

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 2010年,一个旨在解决扩容问题的项目诞生——Apache Mesos,它在某种程度上对CPU、内存、磁盘资源进行抽象,从而允许整个数据中心如同单台大服务器般运转。无需虚拟机和操作系统,Mesos创造了一个单独底层的集群为应用提供所需资源。

引言:2010年,一个旨在解决扩容问题的项目诞生——Apache Mesos,它在某种程度上对CPU、内存、磁盘资源进行抽象,从而允许整个数据中心如同单台大服务器般运转。无需虚拟机和操作系统,Mesos创造了一个单独底层的集群为应用提供所需资源。
本文将向您简单介绍Mesos分布式架构,详细讨论请见《Mesos 实战》一书。

  Mesos通过引入一层抽象,提供了一种像管理单台大服务器般的方法来管理整个数据中心。你可以认为Mesos与当今虚拟化解决方案类似:像hypervisor一样抽象物理CPU、内存、磁盘资源,之后以虚拟机形式呈现。Mesos做相同的事情,但其将资源直接提供给应用。
  除了提升整体资源的利用率外,Mesos还一开始就支持分布式、高可用及容错。通过使用容器技术,如Linux control groups (cgroups)和Docker,Mesos实现了进程间隔离,允许多个应用运行在同一机器上。你也许曾搭建过三个集群,分别运行着Memcached、Jenkins CI和Ruby on Rails应用,现在你只需部署一个Mesos集群就可以运行所有的应用了。
  为了提供规模化服务,Mesos提供了一套分布式、容错性架构来完成资源的细粒度分配。这套架构包括三个组件:master、slave及运行在其上的应用本身(通常称为framework)。Mesos依赖于Apache ZooKeeper,一个分布式的数据存储系统,专用于集群内的协调同步leader投票选举,以及Mesos master、slave和framework间的leader发现。
  在下图中,你能够看见这些架构组件如何在一起工作,从而提供一个稳定的平台来部署应用。
                图片描述
                Mesos架构图,包括一个或多个master、slave和framework

masters

  Mesos master的职责是管理集群中在每台机器上运行的Mesos slave守护进程。通过ZooKeeper和master之间协调哪个节点是主master,哪些节点作为备用存在,它们将在主master离线时接管服务。
  主master节点使用可插拔的分配模块或调度算法来分发资源供给至各种调度器,从而决定将什么资源提供给某一特定的framework。调度器依据其上是否有任务需要执行来决定接收或拒绝资源供给。
  Mesos集群至少要求有一个master节点。在生产环境为了保证高可用性,推荐采用三个甚至更多的master节点。你可以将ZooKeeper在与master相同的机器上运行,或者使用独立ZooKeeper集群。

slaves

  在集群中负责执行framework任务的服务器被称为Mesos slave节点,它们访问ZooKeeper来确定主master节点,将CPU、内存、存储资源以资源供给的形式宣告给主master。当调度器从主master接收资源供给后,在slave节点上启动一个或多个执行器,执行器负责运行framework的任务。
  Mesos slave也能够基于属性与资源进行配置,从而允许它们定制特定环境。属性配置是键值对形式,可以包含类似于节点所在机房位置信息。资源配置可以替代Mesos自动探测发现slave节点的有效资源,并由用户指定具体的CPU、内存、磁盘资源信息。属性配置与资源配置的示例信息如下:

--attributes='datacenter:pdx1;rack:1-1;os:rhel7'
--resources='cpu:24;mem:24576;disk:409600'

  在属性配置中对Mesos节点的数据中心、节点位置、操作系统进行了说明,在资源配置中用户指定了该节点提供的CPU、内存和磁盘资源。在日常维护中,这些信息对保证应用在线运行不受影响特别有用。使用这些配置信息,数据中心的运维人员可以在整个机柜甚至整排机柜离线日常维护时不影响用户。

frameworks

  framework是表示Mesos应用的术语,它负责在集群上调度与执行任务。framework由两个组件组成:调度器与执行器。

1 . 调度器

  调度器是典型的长运行态服务,负责与Mesos Master连接,接收或拒绝资源供给。Mesos将调度的职责委派给了framework,而不是试着由自己调度所有的任务执行。调度器基于当下是否有任务需要运行来决定是否接受或拒绝资源供给。调度器通过与ZooKeeper通信来探测主master的存在,之后将其自己注册到master中。

2 . 执行器

  执行器是在Mesos slave上启动的一个进程,负责运行framework的任务。在本书写作之时,Mesos内建的执行器允许framework执行shell脚本、Docker容器等。Mesos支持多种编程语言执行器,新的执行器可以与framework绑定在一起,当任务需要它时由Mesos slave从framework获取。
  如你所看到的,Mesos提供了一个分布式、高可用的架构,master负责整个集群的调度工作,slave将有效资源通知调度器,并在集群中执行任务。
  本文选自《Mesos 实战》,点此链接可在博文视点官网查看此书。
                      图片描述
  想及时获得更多精彩文章,可在微信中搜索“博文视点”或者扫描下方二维码并关注。
                         图片描述

相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
相关文章
|
1月前
|
监控 负载均衡 算法
构建高效微服务架构的五大核心组件
【4月更文挑战第6天】随着现代业务需求的多样化和复杂性增加,传统的单体应用已无法满足快速迭代与灵活部署的需求。微服务架构应运而生,以其高度模块化、独立部署和可伸缩性成为企业转型的关键。本文聚焦于构建高效微服务架构的核心组件,从服务发现、配置管理、负载均衡、容错处理到服务监控五个方面进行深入剖析,旨在提供一套全面的技术指南以支持后端开发的最佳实践。
|
2月前
|
消息中间件 API 数据库
详解分布式微服务架构
详解分布式微服务架构
|
5月前
|
存储 缓存 运维
分布式的微服务架构中的核心理念
分布式的微服务架构中的核心理念
65 0
|
12月前
|
微服务
分布式、集群、微服务的区别。
>分布式:是根据业务去拆分多个服务,分布式可以把拆分出来的服务放到一台服务器上。 >集群:是整体扩容,部署到多个服务器上,集群一定是有多态服务器,当服务成为性能瓶颈,不能独立扩容,那么久部署到不同的机器上。
105 0
|
SQL 分布式计算 监控
开源分布式任务调度系统就选它!
开源分布式任务调度系统就选它!
|
敏捷开发 Kubernetes Go
架构解密从分布式到微服务:分布式系统的设计理念
分布式系统从诞生到现在已经有几十个年头了,其中伴随着一些很重要的基础理论,正是这些影响深远的基础理论,奠定了分布式系统的坚实基础,造就了分布式领域的一座座宏伟大厦。为了练就一身武功,让我们从这些经典的分布式理论开始学起吧。
|
运维 前端开发 JavaScript
【杂谈】关于常见架构的整理,单应用、微服务、SOA、分布式和集群
【杂谈】关于常见架构的整理,单应用、微服务、SOA、分布式和集群
【杂谈】关于常见架构的整理,单应用、微服务、SOA、分布式和集群
|
负载均衡 NoSQL Java
【分布式集群】微服务电商应用系统的集群构建
基于Spring系列的框架开发的微服务业务站点在当下应该是最流行的开发模式之一,通过一系列分布式高可用的系统架构,我们将完成对电商应用的构建部署。
219 0
【分布式集群】微服务电商应用系统的集群构建
|
运维 Kubernetes 网络协议
k8s容器云架构之dubbo微服务—k8s(07)交付实战-架构说明并准备zk集群 目录
博客地址:https://www.cnblogs.com/sseban 哔哩哔哩:https://space.bilibili.com/394449264
289 0
|
存储 运维 Kubernetes
k8s容器云架构之dubbo微服务—K8S(08)交付实战-交付jenkins到k8s集群
博客地址:https://www.cnblogs.com/sseban 哔哩哔哩:https://space.bilibili.com/394449264 k8s交付实战-交付jenkins到k8s集群
183 0