
近十几年来,IT领域新技术、新概念层出不穷,例如DevOps、微服务(Microservice)、容器(Container)、云计算(Cloud Computing)和区块链(Blockchain)等,直有“乱花渐欲迷人眼”之势。另外,出于业务的需要,IT应用模型也在不断地变革,例如,开发模式从瀑布式(Waterfall)到敏捷(Agile)再到精益(Lean),甚至是与QA和Operations融合的DevOps,应用程序架构从单体(monolithic)模型到分层模型再到微服务,部署及打包方式从面向物理机到虚拟机再到容器,应用程序的基础架构从自建机房到托管再到云计算,等等,这些变革使得IT技术应用的效率大大提升,同时却以更低的成本交付更高质量的产品。尤其是以Docker为代表的容器技术的出现,终结了DevOps中交付和部署环节因环境、配置及程序本身的不同而造成的动辄几种甚至十几种部署配置的困境,将它们统一在容器镜像(image)之上。如今,越来越多的企业或组织开始选择以镜像文件作为交付载体。容器镜像之内直接包含了应用程序及其依赖的系统环境、库、基础程序等,从而能够在容器引擎上直接运行。于是,IT运维工程师(operator)无须关注开发应用程序的编程语言、环境配置等,甚至连业务逻辑本身也不必过多关注,而只需要掌握容器管理的单一工具链即可。 部署的复杂度虽然降低了,但以容器格式运行的应用程序间的协同却成了一个新的亟待解决的问题,这种需求在微服务架构中表现得尤为明显。结果,以Kubernetes为代表的容器编排系统应需而生。 尽管公开面世不过短短数年时间,Kubernetes业已成为容器编排领域事实上的标准,其近一两年的发展状态也在不断地验证着Urs H?lzle曾经的断言:无论是公有云、私有云抑或混合云,Kubernetes都将作为一个为任何应用、任何环境提供的容器管理框架而无处不在。 Kubernetes(来自希腊语,意为“舵手”或“飞行员”)由Joe Beda、Brendan Burns和Craig McLuckie创立,而后Google的其他几位工程师,包括Brian Grant和Tim Hockin等加盟共同研发,并由Google在2014年首次对外宣布。Kubernetes的开发和设计都深受Google内部系统Borg的影响,事实上,它的许多顶级贡献者之前也是Borg系统的开发者。 Borg是Google内部使用的大规模集群管理系统,久负盛名。它建构于容器技术之上,目的是实现资源管理的自动化,以及跨多个数据中心的资源利用率最大化。2015年4月,Borg论文《Large-scale cluster management at Google with Borg》伴随Kubernetes的高调宣传被Google首次公开,人们终于有缘得窥其全貌。 事实上,正是由于诞生于容器世家Google,并站在Borg这个巨人的肩膀之上,充分受益于Borg过去十数年间积累的经验和教训,Kubernetes甫一面世就立即广受关注和青睐,并迅速称霸了容器编排技术领域。很多人将Kubernetes视为Borg系统的一个开源实现版本,在Google内部,Kubernetes的原始代号曾经是Serven of Nine,即星际迷航中友好的“Borg”角色,它标识中的舵轮有七个轮辐就是对该项目代号的致意,如图所示。Kubernetes v1.0于2015年7月21日发布,紧随其后,Google与Linux基金会合作组建了Cloud Native Computing Foundation(云原生计算基金会,简称为CNCF),并将Kubernetes作为种子技术予以提供。这之后,Kubernetes进入了版本快速迭代期,从此不断地融入着新功能,如Federation、Network Policy API、RBAC、CRD和CSI,等等,并增加了对Windows系统的支持。 2017年可谓是容器生态发展史上具有里程碑意义的一年。这一年,AWS、Azure和Alibaba Cloud都相继在其原有容器服务上新增了对Kubernetes的支持,而Docker官方也在2017年10月宣布同时支持Swarm和Kubernetes编排系统。这一年,RKT容器派系的CoreOS舍弃掉自己的调度工具Fleet,将其商用平台Tectonic的重心转移至Kubernetes。这一年,Mesos也于9月宣布了对Kubernetes的支持,其平台用户可以安装、扩展和升级多个生产级的Kubernetes集群。这一年,Rancher Labs推出了其2.0版本的容器管理平台并宣布all-in Kubernetes,放弃了其内置多年的容器编排系统Cattle。类似的故事依然在进行,并且必将在一个时期内持续上演。 本文摘编自《Kubernetes进阶实战》,经出版方授权发布。 推荐阅读:《Kubernetes进阶实战》 作者 马永亮 内容简介:基于K8S 1.12版本,透彻解析技术架构、组件应用、扩缩容、网络与存储策略,以及技术进阶等话题 。马哥教育CEO马哥(马永亮)撰写,渐进式铺陈,适合入门与进阶 ;涵盖Kubernetes架构、部署、核心/自定义资源、扩缩容、存储卷、网络插件与策略、安全、调度策略、监控、日志等话题 ;渐进式讲解,手把手示范,大量实操案例,随时动手验证。
第7ç« 企业私有云平台建设和管理 7.1 企业私有云平台设计原则和建设思路 7.1.1 设计原则 云管理平台实现云环境下基础设施环境自动化、标准化管理,包括资源的自动发现、资源池纳管、资源的分配、资源部署、虚机模板和镜像的标准化等,同时还可以对系统、网络、存储、应用环境自动配置,实现应用自动化发布及变更自动化管理等功能。进行云管理平台设计时主要遵循以下几个原则: q 标准化 当前云服务在整个信息产业中还不够成熟,相关的标准还没有完善。为保障方案的前瞻性,在设备选型上力求充分考虑对云服务相关标准的扩展支持能力,保证良好的先进性,以适应未来的信息产业化发展。 q 高可用 为保证数据业务网的核心业务的不中断运行,在网络整体设计和设备配置上都是按照双备份要求设计的。在网络连接上消除单点故障,提供关键设备的故障切换。关键设备之间的物理链路采用双路冗余连接,按照负载均衡方式或active-active方式工作。关键主机可采用双路网卡来增加可靠性。全冗余的方式使系统达到电信级可靠性。要求网络具有设备/链中故障毫秒的保护倒换能力。 具有良好扩展性,网络建设完毕并网后应可以进行大规模改造、服务器集群、软件功能模块应可以不断扩展。 良好的易用性,简化系统结构,降低维护量。对突发数据的吸附,缓解端口拥塞压力,能保证业务的流畅性等。 q 增强二层网络 云平台下,虚拟机迁移与集群式两种典型的应用模型,这两种模型均需要二层网络支持。随着云计算资源池的不断扩大,二层网络的范围正在逐步扩大,甚至扩展到多个数据中心内,大规模部署二层网络则带来一个必然的问题就是二层环路问题。采用传统的STP+VRRP或STP+HSRP技术部署二层网络时会带来部署复杂、链路利用率低、网络收敛时间慢等诸多问题,因此网络方案的设计需要重点考虑增强二层网络技术(如IRF/VSS、TRILL等)的应用,以解决传统技术带来的问题。 q 虚拟化 虚拟资源池化是网络发展的重要趋势,将可以大大提高资源利用率,降低运营成本。应有效开展服务器、存储的虚拟资源池技术建设,网络设备的虚拟化也应进行设计实现。服务器、存储器、网络及安全设备应具备虚拟化功能。 q 高性能 由于云服务网络中的流量模型发生了变化,随着整个云平台相关业务的开展,业务都分布在各个服务器上,流量模型从纵向流量转换成复杂的多维度混合的方式,整个系统具有较高的吞吐能力和处理能力,满足PB级别的数据处理请求,具备对突发流量的承受能力。 q 开放接口 为保证服务器、存储、网络等资源能够被云平台良好的调度与管理,要求系统提供开放的API接口,云计算运行管理平台能够通过API接口、命令行脚本实现对设备的配置与策略下发。 7.1.2 建设思路 对于众多正在积极开展云计算的企业来说,选择一个好的云计算管理平台是一个策略性的决定,因为它涉及到 IT 的基础和将来发展方向。 云计算主要分为三种服务模式:SaaS、PaaS、IaaS。SaaS主要将应用作为服务提供给客户,IaaS是主要是将虚拟机等资源作为服务提供给用户,PaaS以服务形式提供给开发人员应用程序开发及部署平台。 q SaaS(Software-as-a-service:软件即服务) SaaS 是最为成熟、最出名,也是得到最广泛应用的一种云计算。可以将它理解为一种软件分布模式,在这种模式下,应用软件安装在厂商或者服务供应商那里,用户可以通过某个网络来使用这些软件,通常使用的网络是互联网。这种模式通常也被称为“随需应变(on demand)”软件,这是最成熟的云计算模式,因为这种模式具有高度的灵活性、已经证明可靠的支持服务、强大的可扩展性,因此能够降低客户的维护成本和投入,而且由于这种模式的多宗旨式的基础架构,运营成本也得以降低。 q PaaS(Platform-as-a-Service:平台即服务) PaaS提供了基础架构,软件开发者可以在这个基础架构之上建设新的应用,或者扩展已有的应用,同时却不必购买开发、质量控制或生产服务器。我们自主研发的App PaaS Structure可以在此基础上很方便的扩展服务模块。 q IaaS(Infrastructure-as-a-service:基础架构即服务) IaaS通过互联网提供了数据中心、基础架构硬件和软件资源。IaaS可以提供服务器、操作系统、磁盘存储、数据库和/或信息资源。IaaS的主要用户是系统管理员。最高端IaaS的代表产品是亚马逊的AWS(Elastic Compute Cloud),不过IBM、VMware和惠普以及其他一些传统IT厂商也提供这类的服务。IaaS通常会按照"弹性云"的模式引入其他的使用和计价模式,也就是在任何一个特定的时间,都只使用需要的服务,并且只为之付费。 在云计算环境中,企业信息系统所具有的标准化程度往往是决定私有云形态的重要因素,对信息系统的标准化评估存在多个维度,包括基础架构环境标准化 (例如所需支撑的硬件是专用硬件还是通用硬件)、平台环境标准化(例如对于开发环境、中间件环境以及数据库环境的通用需求和租户限制)、以及应用系统的标准化(例如应用系统的运行环境、封闭系统亦或是开发系统、商用套装软件或是自开发系统、是否支持分布式等).不同维度的标准化实现决定了企业私有云应该建设为IaaS云、PaaS云亦或是SaaS云。 鉴于企业云计算平台应用需求的满足是一个渐进的过程,云平台建设是一项复杂的系统工程,建议企业云平台的建设遵循长期规划、分阶段实施的原则,前期立足于满足IaaS层,后续根据实际需求逐步支持PaaS和SaaS的实现。 7.2 架构设计 7.2.1 云平台概述 公有云和私有云都会使用云管理平台,但是企业私有云具有更多的个性化特性和自定义的功能,不同的云平台在功能特性、易用性、灵活性和成本上差异巨大,一个企业可以开发自己的云管理平台或者也可以从第三方的云计算厂商那里采购云管理平台,当然重要的都是需要满足自己业务和管理的需求和特性。 如下图7-1所示,在企业私有云中,企业可以通过云管理平台实现对物理资源、虚拟资源的统一管理和自动化配置,同时还可以提供基础设施服务、平台服务、软件服务(含通用软件和专业软件),结合云的多租户管理、流程服务编排、资源的计费计量管理,从而可以监控整个云基础架构的使用情况并对其进行综合优化管控,所以云平台对于企业来说是一个必需品。相反,如果没有云管理平台,你就需要自己配置网络、服务器、虚拟机模板、应用等所有的一切,因此会致使企业运营和维护成本居高不下。 图 7—1 企业云管理平台 7.2.2 云平台分层架构 一般来说,目前大家比较公认的云架构是划分为基础设施层(IaaS)、平台层(PaaS)和软件服务层(SaaS)三个层次的,各层有不同的侧重和服务。企业云平台时还需构建基于云的运营管理体系和信息安全体系,如图7-2所示。 图 7—2 云平台分层架构 基础架构[L1] [A2] 即服务:包括硬件基础实施层、虚拟化/资源池化层、资源调度与管理自动化层。 硬件基础实施层:包括主机、存储、网络及其他硬件在内的硬件设备,他们是实现云服务的最基础资源。 虚拟化/资源池化层:通过虚拟化技术进行整合,形成一个对外提供资源的池化管理(包括内存池、服务器池、存储池等),同时通过云管理平台,对外提供运行环境等基础服务。 资源调度层:在对资源(物理资源和虚拟资源)进行有效监控管理的基础上,通过对服务模型的抽取,提供弹性计算、负载均衡、动态迁移、按需供给和自动化部署等功能,是提供云服务的关键所在。 平台即服务:主要在IaaS基础上提供统一的平台化系统软件支撑服务,包括统一身份认证服务、访问控制服务、工作量引擎服务、通用报表、决策支持等。这一层不同于传统方式的平台服务,这些平台服务也要满足云架构的部署方式,通过虚拟化、集群和负载均衡等技术提供云状态服务,可以根据需要随时定制功能及相应的扩展。 软件即服务:对外提供终端服务,可以分为基础服务和专业服务。基础服务提供统一门户、公共认证、统一通讯等,专业服务主要指各种业务应用。通过应用部署模式底层的稍微变化,都可以在云计算架构下实现灵活的扩展和管理。 按需服务是SaaS应用的核心理念,可以满足不同用户的个性化需求,如通过负载均衡满足大并发量用户服务访问等。 信息安全管理体系,针对云计算平台建设以高性能高可靠的网络安全一体化防护体系、虚拟化为技术支撑的安全防护体系、集中的安全服务中心应对无边界的安全防护、利用云安全模式加强云端和用户端的关联耦合和采用非技术手段补充等保障云计算平台的安全。 运营管理体系,保障云计算平台的正常运行,提供故障管理、计费管理、性能管理、配置管理和安全管理等。 7.3 部署和管理 7.3.1 云平台的部署 依据集中管理原则,企业云管理平台采用集群方式部署以保证系统性能与高可用性,如图7-3所示。 图 7—3 云平台部署架构 q 云管理平台统一管理所有资源池,包括生产资源池和灾备资源池。 q 为了提高部署性能,在每个资源池中保存适应该类资源池的镜像和脚本文件、配置文件副本。 q 业务数据在存储底层通过异步复制实现一致。 7.3.2 云资源管理 整个复杂的云架构中,必须通过一个强大的管理平台来实现对软硬件资源的整合和管理,包括对整个平台运行的性能进行实时监控和日志报告等功能;同时还实现用户交互接口,用户通过认证可以很方便地登录到云平台,申请各种硬件资源和中间件资源,启动、停止自己的虚机。统一的云管理平台打破了业务应用对资源的独占方式,实现硬件资源和软件资源的统一认证、统一管理、统一分配、统一部署、统一监控和统一备份,如图7-4所示。 图 7—4 云资源管理 云资源管理系统架构需要实现的功能: q 设备管理 提供物理对物理设备接入和管理功能,包括设备发现展示、配置部署、告警上报等。 q 虚拟适配层 提供不同虚拟层(VMM)的适配、集成能力。如VMware、Xen、KVM、Hyper-V等对上层屏蔽不同虚拟层差异,提供统一的虚拟化管理接口。 q 云适配层 提供对不同云资源的适应能力实现公有云和私有云资源的统一管理能力。 q 虚拟化资源池管理 实现计算、存储和网络的虚拟化和资源统一管理。 q 资源池调度 提供资源动态分配、动态耗能管理、调度策略管理、资源池高可用性和备份恢复等功能。 q 资源池服务 对外提供基础资源池服务能力,如动态伸缩、负载均衡等。 q 对外接口 对外提供标准的接口和能力,供上层业务或解决方案集成。 q 管理平台 云资源池的统一管理维护功能,如用户管理、日志管理、告警和性能监控。 7.3.3 配置与合规性管理 云计算管理平台与以往单一管理平台不同的是,它对自动化的依赖程度更高、规模更大,并且采用动态方式管理工作负载。它相当于将手工作坊转变为在速度、可靠性和体积上均占优势的全自动装配线。为此,组成云计算管理平台的所有组件都必须是可互换且安全的,这可以通过“配置与合规性管理”来实现。 “配置管理”主要用于定义和维护关于云计算管理平台及其组件和服务的信息和关系。这可能需要配置管理数据库 (CMDB) 来集中存储数据,或需要配置管理系统 (CMS) 来联合多个存储库中的数据。配置的另一个作用是为每条数据保留一份单一事实来源的记录,并协调与外部系统间的数据交换。 与配置管理相比,“合规性管理”更侧重于维护企业的服务提供商或租户的系统标准,其中可能包括 PCI、SOX 或 HIPPA 等合规性标准。除了安全设置和固件、软件及补丁程序级别,合规性管理还涉及变更管理、用户访问和网络安全。 配置与合规性管理相结合可验证配置设置、固件、软件和补丁程序版本是否全部遵循控制组织预先制定的标准和策略。 企业实施云计算的主要目标是提高效率、降低日常运维开销成本。要实现此目标,需要促进并保持尽可能多的组件实现标准化,同时保持高水平的安全性与合规性。以下是为了最大程度节省运维开销所需采取的措施: u 自动调配符合服务提供商或租户标准和合规性策略的可互换组件。 u 持续验证标准和合规性策略是否始终贯彻执行。 u 持续验证底层云计算数据中心基础设施是否符合标准和合规性策略(受信任的云)。 u 持续报告不合规的系统。 u 持续修正不合规的系统。 u 跟踪和传递组件之间的关系,以增强云计算数据中心的影响分析和故障排除功能。 u 使用现有的CMDB、CMS 或者其他服务提供商或租户数据源了解何处的事实来源用于与组织的其他部分交换数据。 Ø 配置与合规性管理流程的定义和组成部分 要进行有效的配置与合规性管理,必须做好以下准备: u 用于捕获云计算数据中心环境当前状态的配置与合规性工具。 u 用于检测、报告和修正不合规系统的自动化和工作流工具。 u CMDB、CMS 或其他企业数据设施,用以识别单一事实来源在服务提供商或租户组织内的位置。 u 已定义服务提供商或租户标准和合规性策略。 u 已针对合规性修正定义了服务提供商或租户变更管理策略。 u 已针对用户访问和权限级别定义了服务提供商或租户访问策略。 u 已定义服务提供商或租户网络安全策略。 u 已充分了解角色和职责。 u 能够捕获、记录和查看 KPI 统计信息。 下图7-5显示了配置与合规性管理流程的概略视图。 图7-5 概略配置与合规性管理流程 此流程包含以下步骤: 1. 定义标准和合规性策略。这是一个持续进行的过程,必须随着新组件的开发和合规性策略的发展而更新。必须针对合规性级别和修正时间确定目标。 2. 准备以下方面的内容: u 为验证合规性而收集的信息。 u 用于显示合规性级别的报告。 u 用于修正不合规之处的自动作业和操作手册程序。 3. 在常规的循环中,请收集以下方面的信息: u 用于标准化和强化的配置设置。 u 固件、软件和补丁程序级别。 u 变更记录的状态和完成情况,尤其是对于受合规性管制的系统。 u 用户访问记录,例如允许的权限、登录名、失败的登录、使用的命令及其他。 u 网络访问记录,例如防火墙规则、拒绝的访问等。 4. 1. è¯ä¼°ç»æå¹¶çææ¾ç¤ºåæ¹é¢åè§æ§çº§å«çæ¥åã 2. 如果检测到不合规之处,则进行修正。根据不合规类型和任何受影响的服务级别,可能适用不同级别的紧迫性。 Ø 配置与合规性管理的流程发展历程 要提供健全的配置与合规性管理流程,就要尽可能实现自动化并消除对手动干预的需求。必须配备人员、流程和工具以支持整个流程。配置与合规性管理流程的发展需要投入时间和人力,请一步一个台阶地完善流程,而不要试图一蹴而就。 最初的难题是要定义、记录和维护以下组成部分。 u 人员:所有角色、职责和必要的技能组合。 u 流程:与其他流程及其他员工的交互。 u 工具:所需的功能。 云计算管理平台会日渐成熟,要达到所需的标准化和合规性的级别,就必须自动执行收集、报告和修正操作。这些工作最初是手动执行的,但随着流程的不断成熟,可引入工具自动化并扩展其范围,以便未来的标准和合规性策略可通过最少的手动交互实施。必须评估自动化的可能性,以确定可进一步提高效率的其他配置与合规性情景。 配置与合规性管理流程还应包括收集显示环境整体状态的信息并将其报告给主要相关人员。具体可能包括不合规配置项或服务的百分比、修正不合规系统的时间或通过自动修正实现服务合规的百分比。 Ø 流程自动化和工具调整/集成 云计算管理平台的配置与合规性流程依赖于工具的选用。必须配备合适的工具,才能在保持所需的服务级别的同时有效管理和运维所处的环境。传统的配置与合规性管理一直主要靠手动操作,很少使用工具。在云计算数据中心中,由于要求的增加而需要更多的工具,例如现在对标准化和合规性的需求增强,并且需要更高级别的自动化水平。 租户可以看到其域内的所有组件,但可能看不到云提供给他们的服务的构成组件。例如,公共租户可能看不到企业私有云环境内的基础设施,配置与合规性管理的范围仅限于数据中心虚拟实例。 私有云资源服务提供者可能看不到已提供给租户的组件的内部情况。向下级租户提供服务的租户也同样如此。 私有云提供一项服务,服务的基础设施可能会达到某一级别的合规性(例如 PCI 或 SOX),这将体现在提供给其租户的服务级别中。私有云资源提供者的职责是确保遵守此服务级别并且所有组件保持合规。每个租户的职责是确保此基础设施及其上构建的服务也遵守相同的合规性级别。 7.3.1 流程管理 云管理平台的主要相关管理流程包括服务请求管理、变更管理以及故障管理,其相关定义如下: 1)服务请求管理:云服务目录项目的服务请求管理,包括各类IaaS、PaaS以及非云项目的服务请求管理。 2)变更管理:云环境相关的变更管理,包括云环境各类资源的创建、分配、调整以及各类CMDB项目的变更。 3)故障管理:与云平台监控管理相结合,实现云环境下的故障及时发现、预警和故障处理。 上述几项流程可通过标准接口实现与流程平台的集成,在现有流程管理规范下制定符合云管理要求的审批流程及相关路径,审批处理结果及时反馈给云管理平台,云管理平台依据反馈结果进行下一步处理。 7.3.5 监控管理 云环境下的监控保障体系非常重要,以确保云服务的正常高效运行,支持云环境中资源的最大化使用,更好的发挥云技术的优势,主要包括三个方面。 1) 保障整个云可以提供优质的服务。监控需要主动发现现在的云服务水平和状态,是否能够满足客户的需求,无论是从用户端还是从服务端都应该可以看到用户对于服务的感受是什么样的。同时还需要能够保障云环境所提供的能力,是能够满足业务需求发展的,并且监控应该赋予云预测的能力,在服务出现问题之前,就能够通知用户,而不是等服务真正出现问题之后才告诉用户,现在服务不能进行了。 2) 支撑容量规划的能力。监控可以根据企业云环境现在的资源池容量和状况,分析现有云环境是否能够支撑未来的发展,缩短容量评估的周期,适应业务的快速发展。 3) 支持弹性伸缩的能力。根据性能容量数据,实时分析系统的资源使用情况,并结合业务发展的需求,预测资源未来的需求,合理弹性分配云环境中现有的资源。 7.3.6 容量管理 云平台容量管理侧重于提供云环境所需的容量以满足现有和将来需求,从而为各类业务和应用提供支持。通过进行容量规划以确保提供给用户的资源已得到适当使用、可在需要时提供,并可根据当前和未来需求扩展或缩减。 1、容量管理定义[L1] [A2] 容量管理是指以最高的性价比和快速的方法,使IT基础设施的容量切实且持续符合不变化的业务需求的活动。 一直以来,容量管理通常在系统实施时执行,并且涵盖对系统整个生命周期的容量要求。这在系统生命周期的早期会造成巨大浪费,因为多余的容量只有在较晚时候才需要使用。还有许多其他因素可能会在系统生命周期早期造成巨大浪费,包括高估了使用量或由于技术发展而导致提前停用等。 即使对于虚拟化,确保有足够容量随时可用也始终是用户担心的问题。虚拟化环境通过减少资源争用(通常通过降低虚拟机与主机的比率)来管理容量。如果采用的比率较低,此方法将导致资源浪费。 对于容量管理来说,“一劳永逸”的设置并不能满足要求。通过主动的容量管理,可以增加主机上的虚拟机密度,这可以使企业经济高效地实施云计算数据中心,而不影响其上运行的服务。 对于云平台管理员来说,应及早发现长期容量问题,以免对服务造成影响。通过配备适当的工具,可提供早期警报,可以通过历史容量使用行为,并将其与已知的未来需求结合以提供 云计算数据中心未来的容量预测。此外,管理员还需及早发现短期容量违规现象,以便实施修复措施以避免违反云计算数据中心 SLA。 2、云平台容量管理的组成要素: 1)确定当前的容量储备。统计云环境现有资源池的各类数据,方便管理员和规划人员及时掌握资源池的情况和状态,对整体资源进行全面确定和掌控,同时利于有效的调配和优化。 2)预测新要求。基于业务实际容量发展和性能指标的变化,预测未来容量负载的变化趋势,帮助运维人员及时调整资源池容量,满足业务增长的需要,避免滞后满足。 3)决策支持。根据对容量管理监控指标数据的分析,为运维人员提供对现有系统的优化分析手段,方便定位问题发现瓶颈。同时基于中长期容量数据分析统计报表,为平台管理员和各级运维管理人员提供决策支持依据,方便精准分析和科学决策。 要想让容量管理发挥出最大价值,持续改进至关重要。一是要提供健全的容量管理,需尽可能实现自动化并尽可能消除对手动干预的需求。容量管理技术会日渐成熟,工具自动化将被引入,以便能够轻松识别容量规模设置不当的云计算数据中心潜在风险和问题,并用最少的手动交互加以调整。必须在容量管理工具中内置智能功能,以便更好地了解企业云计算数据中心 环境的动态使用情况,并明确了解任何重复的资源使用行为。二是要提供敏捷的容量管理,就必须避免其他流程影响额外容量的提供。例如,变更管理流程必须与调配流程紧密结合,以便快速配备额外的容量。容量调配可以在基础设施层(主机、存储)和服务层(为现有业务提供的额外容量)进行。如果变更管理流程太过冗长,则云计算数据中心的某些优势便会丧失,成本则增加。 7.3.7存储管理 为了满足云技术平台的存储统一管理,自动化调度等功能,需要开发统一的存储管理模块,通过命令行、API或SMI-S协议来实现包含但不限于上述类型的异构存储及SAN交换机的统一管理、自动化调度。 存储管理模块从SAN存储设备的监控管理和采集数据,这些数据将为存储的监控管理、配置管理、能力管理、存储资源池管理和自动化调度提供基础,在一定的资源分配策略和规则引擎的驱动下,存储管理模块从云技术平台接受任务请求并进行处理,然后再将请求的执行情况反馈给云技术平台,如下图7-6所示: 图 7‑6 存储管理模块功能架构 云技术平台和存储管理模块的分工界面为存储资源池,存储资源池及其以下环境的自动化由存储管理模块实现,存储资源池以上环境的自动化由云技术平台实现。 从存储管理的角度来看,存储管理模块一方面将一些常用的、复杂的且安全的工作打包成一个个自动化服务。另一方面仍将提供面向应用、面向物理存储、面向存储资源池的配置管理、性能管理和容量管理。 例如,可以看到某个应用部署在哪个存储上,分配了哪些LUN,总共分配资源大小和性能负载等。又如可以看到存储资源池由哪些物理存储组成,目前各个资源的容量和性能负载等。 根据以上描述,我们可以看到存储管理模块的自动化功能将多于开放给云技术平台调度的自动化功能,额外的这些功能用以满足存储专业人员日常运维的需要。哪些存储自动化功能可以开放给云技术平台将遵循两大原则:安全无风险、常用提高效率。 下图7-7表现了存储管理模块的功能与云技术平台、存储管理员手工操作的分工界面: 图 7‑7 统一存储管理模块分工界面图 7.3.8 租户和权限 对于企业私有云来说,云中都有什么资源?资源该由谁来管理?如何分配?谁来运维这些资源?谁来使用这些资源? 这就涉及到租户和权限设计。 在这里,需要明确一个原则:租户只是使用/租用资源,而云平台则是管理运维这些资源。租户侧重于对自己的应用或业务服务进行运维。资源由租户申请,云平台来分配管理资源。 企业云平台目前分为以下两种角色,见图7-8所示 图7-8 角色类型与描述 â¢Â      具体的角色权限,见图7-9所示。角色权限: O—具有权限,X—不具有权限 图7-9 角色权限 7.3.9接口设计 云管理平台对外需要提供三类接口: 1)管理服务接口:提供云平台各类信息及资源对外访问的接口,用户可利用该接口定制应用门户及展示界面。 2)资源供给接口:云环境中的各类资源在池化后,将统一不同异构平台的各类管理及操作接口,实现统一资源供给接口。 3)外部调用接口:云管理平台具有开放支持能力,可加入各类外部调用接口或第三方接口。 7.3.10 生命周期管理 机器的生命周期是从开始申请到最终回收的过程。首先租户提出申请机器资源的请求,如果通过,将触发按照蓝图的机器部署模板在预留资源内完成部署的过程。在创建蓝图的过程中,管理员可定义租期(天)也可以不设置过期日期。机器交付给租户之后,由机器所有者管理机器资源,包括重配置和续租。依据蓝图,归档期(天)也被详细定义。如果机器没有在到期前被特别销毁,那么到了归档期限就会被归档。如果没有设定明确的归档日期,那么到过期时间就会被自动销毁。资源被云平台释放,供重新利用。 7.3.11 计费管理 无论公司是否真的实施正式的计费审计管理制度,大多数企业希望提供一个透明的成本核算系统,来加深使用者对不同服务等级和对预算的影响的考量。 云平台可以提供一个综合成本分布和计费功能,单个用户或企业基于分配或资源消耗的模型来分承担费用。例如:资源使用者可以在服务目录里看到不同选择的花费,审批者可以看到被要求批准虚拟机的成本。通过允许这一级别的可视性,建立全面的购买、审计和IT运营模式的支持。 7.3.12 多云管理 多云趋势明显、应用广泛,而云管理平台是多云管理的必然选择。 云管理平台的主要能力包含混合云、多云环境的统一管理和调度、提供系统映像、计量计费以及通过既定策略优化工作负载,更先进的产品还可以与外部企业管理系统集成,包括服务目录,支持存储和网络资源的配置,允许通过服务治理加强资源管理,并提供高级监控,提高性能和可用性。具体来说,云管理平台可以在以下几个方面体现其在多云管理中的作用: 1. 云管理平台可以实现多云的统一管理 企业的IT人员管理多个不同的云平台,让云服务的用户登录多个不同的云平台进行操作显然是件困难的事情。通过使用云管理平台,管理员可以设定跨云统一的管理策略、审批流程、资源配额以及镜像模板等,并统一管理和维护多云应用和基础架构模板,并通过管理门户管理整个环境。云服务消费者从自助服务门户中选择多云模板进行部署和使用。 2. 云管理平台可以实现跨云资源调度和编排需要 对于企业IT应用的不同需要,管理员和开发者需要根据具体需求调度和编排跨云资源,此时,云管理平台不可或缺。对于特点的应用,开发人员期望将基础架构和应用程序服务部署到多个平台,部署后配置这些服务,并通过工作流设计界面控制生命周期操作(启动,停止等)。如标准的Web、APP、DB三层架构应用部署时,借助公有云CDN的能力,把Web层部署在公有云上,把APP集群部署在私有云的容器或者虚拟机上,把DB部署在私有云物理机上。通过云管理平台跨云编排能力,将这些公有云服务、私有云的资源进行统一的编排,辅以流程引擎形成跨云服务。 3. 云管理平台可以实现多云治理 多云需要统一的治理能力。云管理平台提供的治理和控制功能使管理员能够定义角色和权限层次结构,与企业和公有云目录和身份验证服务(单点登录SSO等)集成,设置和执行成本和其它配额和限制,并使用标记的资源跟踪更改历史记录,以执行合规性策略。 4. 云管理平台可以实现多云的统一监控和运维 管理员和运维者都需要监控告警和利用率报告来优化正在进行的多云管理。在与企业级客户交流时经常会听到的抱怨就是,为了管理云数据中心、管理某个云环境都要登录多个系统分别进行:操作虚拟化、网络、存储、业务等的管理;对IT流程的管理;对监控告警系统的管理等等。云管理平台集成企业内部IT环境,是管理员和运维人员能在统一的portal完成对于云的管理和运维操作。 5. 云管理平台可以实现多云的统一成本分析和优化 云系统的管理员、财务人员、云服务的消费者都需要考虑成本和服务/资源利用率报告来优化正在进行的多云管理。云管理平台提供的基于云环境、云服务和资源类型、服务消费实体构建的成本分摊模型,到期日期和性能/使用情况分析不仅有助于控制使用情况,还可以引导消费者使用最佳的云平台,优化整体成本。此外,云管理平台提供的成本优化能力,能帮助管理员分析存在的僵尸主机、资源利用率低、选择成本及性价比更好的服务,进行资源调度。而当某个公有云调整价格时,云管理平台的动态资源调度和优化能力可以灵活的在各云间调配高性价比的服务,节省企业云消费成本。 6. 云管理平台可以帮助开发人员实现基于API构建跨云的应用 IaaS、PaaS及DaaS服务为企业应用提供了良好的集成支撑,通过API控制应用程序和基础架构元素对云管理员和开发人员都很重要。云管理平台提供统一的API网关,抽象各云平台的API差异,提供了一系列的鉴权、API生命周期管理、API服务消费及管理能力,简化了对于各云平台的集成及企业内部IT服务管理工具和产品的使用。 通过构建多云,企业可以实现统一管理公有云和私有云、跨国跨区域的业务系统部署、关键数据的云灾备、应对短时的云爆发业务需求、全局的高可用性和性能需求、各云服务提供商的优势/高性价比服务选择、成本分摊及优化能力等。但多云带来的最大问题是服务异构,多活也意味着必然有大量数据同步,带宽,时延,数据一致性方面都有很大挑战,管理成本也会上去。所以可以优先考虑单朵云内同城和异地建设,这样基础层面同构,可以更好地专注在业务容灾和双活建设上。 综上所述,多云需求的快速增长,必然需要相应的管理能力,而云管理平台作为一个综合的双模IT管理实践,方便管理员构建和管理多云、便于开发人员构建和运行跨云的应用程序,并帮助 IT 经理交付、治理和优化多个云平台。 延伸阅读:《企业私有云建设指南》 (1)作者在云计算、系统架构和运维领域工作多年,在OpenStack、VMWare以及私有云等各种云计算平台下,有丰富的实践经验。 (2)本书得到了9位云计算领域的领袖人物和技术专家的高度评价。 (3)给出了基于商业的VMWare和开源的OpenStack两种平台下的私有云建设方案,满足各类读者需求。 (4)从技术选型、规划和建设、设计和部署、平台建设和管理、优秀实践、成熟度评估6个维度展现私有云建设的全景图。 互联网已然进入下半场!当野蛮生长已成过往,消费互联与2C风口带来的流量沉淀,恐已不足温暖寒冬!拥抱产业互联网,携2C进2B,企业私有云市场是重中之重!然而企业私有云具有应用系统复杂、标准化程度低定制化程度高、系统体量大安全要求高等特点,如何在私有云市场占据制高点掌控未来,这本书将从技术选型、规划建设、平台管理等方面为你解构企业私有云的秘密,带给你不一样的启发和思考!一切就绪,值得拥有!
从2006年Google在业界首次提出“云计算”(Cloud Computing )的概念至今,云计算已走过了十年,现在已是“凡人饮水处,皆言云计算”。 共享、敏捷和创新是互联网时代下企业信息化建设最大的转变。云计算以其对软硬件资源统一管控、服务化的资源快速供给等特性,为企业信息化建设构造新生态,产出新效能,实现新跨越提供了重要的平台基础,因此成为国家扶持的战略性新兴产业之一。通过云计算,消费者不再关注底层的IT技术,而是仅需要在云生态环境中选取所需的服务来实现自身的业务目标。云计算的飞速发展,极大地改变了企业原有的IT建设模式,也带动了依托于IT资源的各类新兴产业爆发式的发展,诸如大数据、人工智能、O2O、物联网等等。 云计算的核心可以用五大基本特征、三种服务模式以及四类部署模式来概括:五大基本特征是按需的自助服务、广泛的网络访问、资源池化、快捷的弹性伸缩以及可度量的服务。三种服务模式为基础架构即服务(IaaS)、平台即服务(PaaS)、软件即服务(SaaS)。四类部署模式可以划分为私有云(专有云)、行业云、公有云以及混合云。 我们看到,在以AWS、Google、阿里等为代表的公有云大力发展的同时,很多大型企业出于数据安全性、系统稳定性、软硬件自主权、对自主可控以及TCO低的考虑,更加倾向于建设企业私有云来承载内部业务信息系统的运行。然而,构建企业私有云并非是一蹴而就的,正如Gartner的副总裁Tom Bittman所述“部署私有云并不是简单地对硬件进行采购,而是一场革新”。 不同的行业和不同类型的企业,在建设自己的私有云时,都有不同的需求和关注点,但总体上来说可选择基于商业的VMware和基于开源的OpenStack两种不同的解决方案,至于是选择商用云平台还是选择开源云平台来创建企业的私有云,这需要企业综合考虑,权衡利弊,依据企业自身技术能力,资金投入总量,实现业务效果等等各个方面去考虑云平台技术的选型,所以没有好与不好,只是能否适用和用的好。 本书从确定选题,搜集资料、写作修改到最后定稿的整个过程,既充满挑战、备受压力,也饱含乐趣。首先应该感谢的是尊敬的云技术社区创始人肖力先生。肖老师正直的为人、渊博的学识和严谨的治学精神都使我受益匪浅。也正是在云技术社区,我认识了山金孝、刘世民、张亮等业内大咖。通过大家一起愉快的讨论技术,火花一闪才有了写作本书的想法。 我与山金孝、刘世民、张亮、张婷婷都长期参与企业私有云的理论研究、架构设计、技术选型、部署实施和日常管理,比较清晰的了解企业私有云建设维护方面的需求和难点。 成书过程中,无数个夜晚,当我们几位作者通过聊天室、在线语音沟通,邀请上肖力和三五好友,一起探讨书中涉及的技术体系和内容,每次都感觉收获满满,相信通过本书的阅读,读者也会有同样的感觉。 最后要感谢机械工业出版社华章公司的杨福川老师,正是在他的关心和促成下,我才能顺利完成本书,在此要向福川表达深深的谢意。 本文节选自《企业私有云建设指南》一书,华章计算机经授权发布。春节后,华章计算机还将连载《企业私有云建设指南》第7章“企业私有云平台建设和管理”的相关内容,敬请期待! 延伸阅读:《企业私有云建设指南》(1)作者在云计算、系统架构和运维领域工作多年,在OpenStack、VMWare以及私有云等各种云计算平台下,有丰富的实践经验。(2)本书得到了9位云计算领域的领袖人物和技术专家的高度评价。(3)给出了基于商业的VMWare和开源的OpenStack两种平台下的私有云建设方案,满足各类读者需求。(4)从技术选型、规划和建设、设计和部署、平台建设和管理、优秀实践、成熟度评估6个维度展现私有云建设的全景图。 互联网已然进入下半场!当野蛮生长已成过往,消费互联与2C风口带来的流量沉淀,恐已不足温暖寒冬!拥抱产业互联网,携2C进2B,企业私有云市场是重中之重!然而企业私有云具有应用系统复杂、标准化程度低定制化程度高、系统体量大安全要求高等特点,如何在私有云市场占据制高点掌控未来,这本书将从技术选型、规划建设、平台管理等方面为你解构企业私有云的秘密,带给你不一样的启发和思考!一切就绪,值得拥有!
在以AWS、Google、阿里等为代表的公有云发展的同时,很多大型企业出于数据安全性、系统稳定性、软硬件自主权、对自主可控以及TCO低的考虑,更加倾向于建设企业私有云来承载内部业务信息系统的运行。 然而,构建企业私有云并非是一蹴而就的,正如Gartner的副总裁Tom Bittman所述“部署私有云并不是简单地对硬件进行采购,而是一场革新”。对于企业私有云而言,具有应用系统复杂、标准化程度低、定制化程度高、系统体量大、安全要求高等特点,需要高瞻远瞩统筹规划,才能建设一个科学可持续发展的私有云。当然,私有云的建设同样应遵循信息系统建设的通用方法,即事前分析规划、事中落地实现以及事后运维管理。下面,我将从企业私有云建设的需求分析、企业私有云建设的要点以及企业私有云的运维与管理等三个方面对大型企业私有云的建设进行分析和总结。 一、企业私有云建设需求分析 在建设企业私有云之前,首先需要回答和解决的问题是:企业是否真的需要私有云?需要什么样的私有云?企业私有云的建设是一个长期的系统工程,初始成本的投入也较为高昂。因此,企业在建设私有云之前,应从以下几方面对需求和现状进行评估。 1、需求和资源使用特点 大多数企业的IT系统现状: 系统利用率低:烟囱式的系统建设部署方式,导致系统资源无法共享,系统负载不均衡,整体资源利用率和能耗效率低。 建设扩容成本高:IT系统中原有的UNIX服务器、数据库和存储阵列占比较高,标准化程度低,通用性差,导致建设扩容成本难以控制,给系统统一维护带来困难。 扩展能力有限:系统的Scale-Up能力和Scale-out能力不足,难以应对越来越大的系统处理和存储压力。 那么针对以上的现状,如何去通过云计算来改变呢?首先我们需要的是: A、动态部署架构:构建基于标准化硬件设备和虚拟化架构之上的云计算基础设施资源池,可对上层应用按需提供弹性资源,实现多系统有效共享,有效提高IT系统资源利用率和能耗效率。 B、标准硬件单元:云计算采用标准的运算和存储处理单元,有效降低系统建设和扩容成本。 C、高可扩展性:云计算硬件集群技术和软件并行处理能力能够提供出色的Scale-out能力,几乎无限扩展IT系统的处理和存储能力。 2、信息系统的标准化程度 在云计算环境中,信息系统所具有的标准化程度往往是决定私有云形态的重要因素。对信息系统的标准化评估存在多个维度,包括基础架构环境标准化 (例如所需支撑的硬件是专用硬件还是通用硬件)、平台环境标准化(例如对于开发环境、中间件环境以及数据库环境的通用需求和租户限制)、以及应用系统的标准化(例如应用系统的运行环境、封闭系统亦或是开发系统、商用套装软件或是自开发系统、是否支持分布式等)。不同维度的标准化实现决定了企业私有云应该建设为IaaS云、PaaS云亦或是SaaS云。 3、云化建设/迁移的难度 将新的应用系统直接部署在云计算环境中,或将原有系统迁移到云计算环境中,是两种主要信息系统的云化改造路径,对其实现难度的评估是对应用系统进行云化改造风险与收益评估的重要手段。整个业务系统的云化分析过程需要从包括硬件支撑环境改造、操作系统平台变更、平台软件绑定分析、IP地址依赖性消除、 API重构、模块化改造、标准化改造、外部依赖条件等在内的多个层面和维度进行,准确评估业务信息系统云化改造的相关难点与痛点,才能对信息系统云化改造有充分的认识和准备。 4、关于成本的评估与考虑 企业建设私有云往往会考虑定制化和一些业务特定的需求,其标准化程度往往低于公有云,由此所带来的自动化、运维、管理开销会更高;最后,培养云计算人才在传统企业环境要求则更高,工作技能、职能的转变同样需要成本的投入。 二、企业私有云建设要点分析 构建私有云,始于企业对自身信息系统建设需求的解析与明确。企业选择私有云的初衷,大多基于自身信息化建设的考虑,主要驱动力包括降低软硬件成本、实现应用系统快速部署、弹性扩容应对业务负载突发性增长需求、构建安全可靠自主可控的基础架构环境等。而私有云对以上需求的支持并非是天然的,在架构设计需要明确设计要点和建设思路,一般说来,在设计企业私有云过程中需要对以下重点关注。 1、资源池 云计算要进行软硬件资源的统一管控和灵活调度,首先需要做到的就是对资源的纳管,即构建资源池。需要注意的是,资源池的意义并非仅仅是通过平台使软硬件资源的可知可控成为可能,更为重要的是:明确与之相匹配的管控手段和策略,使其涵盖资源的全生命周期管理。资源池建设重点可以归纳为资源可达、规模可控与能力可知: 1)资源可达 资源池是在技术层面打破旧有的竖井式信息系统建设模式的关键,是软硬件资源实现统一管控、灵活调度的基础。在资源池中,需要利用服务器虚拟化、存储虚拟化和网络虚拟化技术,使任意资源在技术上都可以通过网络(IP网络或存储网络)以服务的形式被无障碍、无区别的供给,应用可以以多种方式访问和使 用既定规则允许范围内的任意资源。因此,在资源池设计中,对各类型资源的打通和连接是其实现重点。 2)规模可控 我们在谈及云计算时,往往会说云计算提供了几乎无限的可能性,这主要是在指云计算的弹性。云计算由于在架构设计上避免了底层硬件资源孤岛,对资源的共享访问方式将放大资源池的弹性效果。规模可控的实现最为重要的是制定资源池扩展和收缩的规则,通过使用时间、使用量、持续时间、优先级等一系列量化阈值触发规则在资源池体量不足时可以灵活的向资源池中添加各种资源,在资源池空闲时,也可以释放部分资源给其他资源池使用。 3)能力可知 在资源池投入使用后,应实时/准实时的对资源池的承载能力进行分析。以监控数据为基础,通过具备科学完备的统计方法和计算规则,评估可供给的服务能力,对应用需求的满足度进行分析。要实现资源池的能力可知,必须具备完善的资源监控手段、实时/准实时更新CMDB,采用合理的感知方式并制定合理的 资源能力计算规则,同时,由于应用需求各不相同,要准确评估对应用的满足度,还需要梳理出典型业务模型,据此评估不同应用模型对资源的需求与消耗。 2、 云管理平台 云服务设计、发布和管理是云计算的核心,体现了云计算的运营形态,而云管理平台是实现云服务全生命周期管理的基础,是实现云计算运营模式的载体。按照ISO/IEC最新发布的云计算参考架构,其中功能层中的用户功能层、访问功能层和服务功能层都应该在云管理平台中进行实现.对于云管理平台而 言,其建设重点可以归纳为状态可视、分配可控和服务可用: 1)状态可视 对于云平台而言,可视并不仅仅代表图形化的访问和管控,企业建设私有云更为重要的是从云服务供应商的视角通过云管理平台实现对资源的集中管控。因此在云计算环境中,监控的重要性将上升到前所未有的高度,同时,相比于传统信息系统架构,监控的含义和涵盖的范围也有了很大的变化,一般说来,在企业私有云平台中,必须具备对包括基础架构资源、服务、安全审计在内的监控能力: ①对包括物理和虚拟化计算资源、存储资源、网络资源等基础架构资源的资产管理、使用情况和设备状态的监控,并及时发现、处理和上报问题。 ②面向服务的监控主要集中在两个方面:一方面监控上线服务的运行状态,确保其运转正常,及时发现事件与问题;另一方面是对SLA服务等级的达成度监控。 ③安全和审计的监控包括:根据在云计算环境中依照业务需求制定的安全规范,面向用户访问、租户数据/资源隔离、日志采集和分析等进行安全和合规性检查和监控。做到风险可识别、问题可发现、访问可控制、操作可追溯,达成SLA对安全的要求与约定。 2)分配可控 基础架构资源的管控是云计算运营最重要的基础和最核心的资源。对基础架构资源的合理管控是企业建设自己的私有云的重要出发点,而对资源管控的实现需要通过云管理平台完成。对于云计算环境中的基础架构资源,从初始建设、分配使用在到回收等一系列动作都应该根据服务设计和相关SLA规定制定详细、规范的流程以及科学合理的处理手段,使云管理平台对资源的管控涵盖资源的全生命周期,做到初始建设合理、管控过程合规、资源分配合适、管控操作可回溯、已分配资源可回收。 3)服务可用 服务是云计算环境的核心。在构建私有云时企业往往会从自身的应用特点和需求出发进行服务的设计和实现,因此很难针对私有云制定通用的服务模板,依据云计算建设的通用方法,对于云服务的建设,一般说来会关注以下四个方面: ① 云服务的识别:云服务的识别是云服务实现的第一步,决定了在云计算环境中将供给的服务内容。云服务的识别是以需求调研为基础的,从必要性、可复用性、实现成本等多个角度出发,分析服务实现的难点和收益,制定服务分阶段实现的计划与路线图。 ②云服务的设计:在云计算环境中对云服务的使用模式决定了云服务的设计要点,一般说来,对于云服务的设计内容包括服务的底层架构、服务的运行流程、服务安全与监控、服务的审计与合规性检查、评价服务能力的关键指标(KPI)、服务的高可用、服务的SLA等几个方面。 ③云服务的实现:云服务的实现一般说来有四种方式:一是从业务需求分析出发进行云服务的定制开发;二是利用第三方软硬件产品进行服务封装;三是从其他云计算运营商购买,合作实现;四是基于已有服务进行服务组合,形成新的服务。 ④云服务的维护:在云服务上线后,对云服务的运维是企业私有云成败的关键。对于云服务的维护包括两个方面.一是针对云服务自身的维护,包括对服务能力和状态的监控、对服务性能和规模的趋势分析、服务的修正与升级、服务底层架构的维护等;二是服务的SLA达成度保障,包括实时监控服务的KPI并与 SLA所规定的服务目标进行比较,在不符合SLA时及时干预使其符合要求,同时,确保满足SLA所规定的安全、隔离等相关条款。 3、自动化与标准化 在云计算环境中,自动化对象往往是哪些经常使用、手工发起的复杂操作,这就要求自动化的对象应符合通用设计,遵循相同的技术规范,具备一致的处理流程,动作行为可参数化,即自动化的目标应该是标准化的。 标准化实现的层次决定了可以实现自动化操作的对象,而这往往决定了云计算的建设模式。例如,当基础架构资源在资源分配方式、资源分配粒度、资源分配方法等符合标准化时,可以考虑构建基于基础架构资源的IaaS云,在包括开发环境、数据库、中间件在内的平台软件在符合标准架构和流程、具备标准化运行环境等条件时,可以考虑构建基于平台的PaaS云,而在应用部署模式相类、服务模式统一、支持分布式、基于SOA架构等的应用系统等,可以考虑构建基于软件SaaS云。需要注意的是,并非所有的基础架构、平台软件和应用软件都具备标准化的条件,而标准化的代价同样高昂,包括硬件重构、SOA改造等标准化过程需要投入大量的资金和人力成本,一般说来,封闭的系统环境和商用套装软件的标准化改造难度较大。 在自动化过程中,特别需要考虑的另外一点是:自动化在带来便捷、高效的同时,不合理的自动化流程设计将可能会导致错误的蔓延和环境的失控。因此,在进行自动化设计过程中,尤其需要注意规则的设定和异常处理。 4、云安全 企业不使用公有云而选择自建私有云最大的考虑就在于安全。数据表明,安全已经成为阻碍云计算发展的最主要原因之一。根据CDA数据分析师协会统计,32%已经使用云计算的组织和45%尚未使用云计算的组织将云安全作为进一步部署云的最大障碍。 在云计算体系中,安全涉及到很多层面,一般说来,在云计算环境中应主要考虑网络安全、存储安全、物理机安全、虚拟化安全、虚拟化管理安全、交付层安全、数据安全、安全服务和运维安全等9个层面和领域。 同样需要注意的是,并非所有的应用安全问题都应该依赖云计算环境的安全架构来解决。云计算基础架构环境支持的系统种类众多、业务要求和安全基线各有不同,在对用户进行服务供给时应根据服务种类以及SLA对安全服务内容进行严格的规范,划分清晰的分工和责任界面。 三、企业私有云建设的思考总结 企业私有云的建设并非只是新技术的变革与引入,而是颠覆传统信息系统建设模式的系统工程.结合企业的特定需求,企业私有云的建设思路大可不尽相同,建设方法也不会千篇一律。 是选择商用云平台还是选择开源云平台来创建企业的私有云,这需要企业综合考虑,权衡利弊,依据企业自身技术能力,资金投入总量,实现业务效果等各个方面去考虑云平台技术选型。所以没有好与不好,只是能否适用和用的好。建设企业私有云不是一蹴而就的,而且这将是持续不断的投入过程,需要在实践中不断摸索前进。 延伸阅读:《企业私有云建设指南》 (1)作者在云计算、系统架构和运维领域工作多年,在OpenStack、VMWare以及私有云等各种云计算平台下,有丰富的实践经验。 (2)本书得到了9位云计算领域的领袖人物和技术专家的高度评价。 (3)给出了基于商业的VMWare和开源的OpenStack两种平台下的私有云建设方案,满足各类读者需求。 (4)从技术选型、规划和建设、设计和部署、平台建设和管理、优秀实践、成熟度评估6个维度展现私有云建设的全景图。 互联网已然进入下半场!当野蛮生长已成过往,消费互联与2C风口带来的流量沉淀,恐已不足温暖寒冬!拥抱产业互联网,携2C进2B,企业私有云市场是重中之重!然而企业私有云具有应用系统复杂、标准化程度低定制化程度高、系统体量大安全要求高等特点,如何在私有云市场占据制高点掌控未来,这本书将从技术选型、规划建设、平台管理等方面为你解构企业私有云的秘密,带给你不一样的启发和思考!一切就绪,值得拥有! 导读链接:https://yq.aliyun.com/articles/688709?commentId=29086&msgid=11839198#comment-29086
内容简介 第1章总结性地介绍了云计算的参考架构、典型解决方案架构和涉及的关键技术。 第2章从需求分析入手,详细讲解了私有云的技术选型、资源管理、监控和运维。 第3章从计算、网络、存储资源池等方面讲解了私有云的规划和建设,以及私有云建设的总体原则。 第4~5章分别讲解了基于开源的OpenStack和商业的VMware的私有云设计与部署,从计算资源、网络资源、存储资源、系统架构、高可用实现、备份和容灾、高级扩展等方面阐述了私有云建设应遵循的实践原则。 第6章 从产品设计和架构设计两个方面阐述了企业私有云设计的通用原则。 第7章 以企业私有云平台的设计原则和建设思路开篇,从架构设计、部署和管理、容器与容器云建设、灾备建设与管理、服务与安全、运维与效益分析等方面完整诠释了私有云平台的建设和管理,融入了很多技术理念和设计思想。 第8章 以Kolla交付方式为基础,从技术规划、部署运维、日志监控、二次开发和升级扩容等多个维度介绍了OpenStack私有云的优秀实践。 第9章 从VMware的SDN、SDS和SRM容灾规划设计三个方面,总结了大量的优秀实践和部署方案。 第10章 介绍了私有云成熟度评估的模型、方法和案例,包括技术成熟度评估、管理成熟度评估和成熟度效果评估等内容。 作者简介 孙杰 资深云计算技术专家、架构师和运维专家,云计算开源产业联盟OSCAR社区核心专家成员。在系统、运维、云计算和数据中心管理等领域有10余年工作经验,先后在国内外大型企业任职,在若干大中型项目的建设、部署和运维中,积累了丰富的架构设计和项目实施经验。红帽RHCE认证系统工程师、Oracle认证OCP、VMware认证VCP以及OpenStack认证工程师。多次受邀出席全球云计算峰会、可信云大会、GOPS全球运维大会等技术会议并发表演讲,广获好评。 山金孝 资深云计算技术专家,现就职于招商银行,曾就职于IBM。在云计算、大数据、容器及其编排技术、机器学习和人工智能领域有丰富的实践经验。国内较早接触OpenStack的一线技术专家,长期致力于OpenStack私有云的研究、实践和布道,OpenStack社区金融工作组成员,著有畅销书《OpenStack高可用集群》(上下册)。曾参与移动、电信、联通、招行、国家电网和长安汽车等多家大中型国有企业的高可用业务系统和私有云计算平台的设计与实施,在企业私有云建设、系统容灾建设和高可用集群建设上具有多年的项目实施经验。 此外,他还是IBM认证的高级技术专家、DB2高级DBA,Oracle认证的OCP以及RedHat认证的系统工程师,在国内外核心期刊发表CVPR论文多篇。 张亮 资深云计算技术专家、架构师和运维专家,在 IT 基础架构和数据中心运维领域有15年从业经验。中国开源云联盟成员,致力于在国内推动面向OpenStack和Docker的标准化和普及工作。曾就职于IBM和数人云,在IBM担任云计算架构师和数据中心运维管理咨询顾问;在数人云担任解决方案VP,推动国内传统企业使用新型基于容器的云计算架构。上海复旦大学软件工程学院特聘教师,作为MSE顾问,开设了《数据中心管理》和《云环境下大规模应用运维》课程。 张婷婷 中国移动通信研究院云计算高级研究员,中国云计算开源联盟私有云成熟度评估项目组组长。在云计算领域深耕多年,熟悉企业级私有云规划建设方案的制定。负责中国移动云计算演进规划、技术架构、方案设计和规范制定等工作,参与多个千余节点的大规模私有云资源池建设。对开源架构,云计算运营、运维管理方法等有深入理解,申请云计算技术专利近10个,开创国内首个云计算量化成熟度评估体系,并在国内外标准化组织中得以推广应用。 编辑推荐 这是一本全面的、以实践为导向的企业私有云建设指南,内容严谨、语言平实,匠心之作。作者是云计算、系统架构和运维领域的资深专家,基于VMware和OpenStack两种解决方案,从技术选型、规划和建设、设计和部署、平台建设和管理、优秀实践、成熟度评估6个维度对私有云的建设展开了全景式的讲解。 前言 为什么写这本书 2006年8月,Google在业界首次提出“云计算”(Cloud Computing)的概念;同年亚马逊相继推出在线存储服务S3和弹性计算云EC2等云服务。至今云计算已走过了十年,已是“凡人饮水处,皆言云计算”。 共享、敏捷和创新是互联网时代下企业信息化建设最大的转变。云计算则以其对软硬件资源统一管控、服务化的资源快速供给等特性为企业信息化建设构造新生态、产出新效能、实现新跨越提供了重要的平台基础,因此成为国家扶持的战略性新兴产业之一。通过云计算,消费者无须关注底层的IT技术,仅需要在云生态环境中选取所需的服务来实现自身的业务目标即可。云计算的飞速发展极大地改变了企业原有的IT建设模式,也带动了依托于IT资源的各类新兴产业爆发式发展,诸如大数据、人工智能、O2O、物联网等。 云计算的核心可以用五大基本特征、三种服务模式以及四类部署模式来概括:五大基本特征是按需的自助服务、广泛的网络访问、资源池化、快捷的弹性伸缩以及可度量的服务;三种服务模式为基础架构即服务(IaaS)、平台即服务(PaaS)、软件即服务(SaaS);四类部署模式可以划分为私有云(专有云)、行业云、公有云以及混合云。 我们可以看到,在以AWS、Google、阿里等为代表的公有云大力发展的同时,很多大型企业出于数据安全性、系统稳定性、软硬件自主权,以及对自主可控和TCO低的考虑,更加倾向于建设企业私有云来承载内部业务信息系统的运行。然而构建企业私有云并非一蹴而就,正如Gartner的副总裁Tom Bittman所述:“?部署私有云并不是简单地对硬件进行采购,而是一场革新。” 对于不同的行业和不同类型的企业,在建设私有云时都有不同的需求和关注点,但总体上来说可选择基于商业的VMware和基于开源的OpenStack两种不同的解决方案,至于是选择商用还是开源云平台,这需要企业综合考虑,权衡利弊,依据企业自身技术能力、资金投入总量、实现业务效果等方面考虑云平台技术的选型,所以没有好与不好,而是能否适用和用的好。 在本书确定选题、收集资料、写作修改到最后定稿的整个过程中,既充满挑战、备受压力,也饱含乐趣。首先应该感谢的是尊敬的云技术社区创始人肖力先生。肖老师为人正直、学识渊博、治学严谨,使笔者受益匪浅。也正是在云技术社区,笔者认识了山金孝、刘世民、张亮等业内专家,我们一起愉快地讨论技术,才有了写作本书的想法。也正是在机械工业出版社华章公司的杨福川老师的关心和促成下,笔者才能顺利完成本书,在此要向福川表达深深的谢意。 本书的主要内容和特色 本书立足现实、面向未来,从云技术选型、设计到平台建设和管理等方面,结合商业的VMware和开源的OpenStack解决方案,全面剖析当下企业私有云建设的各方面实践情况,展现企业私有云的建设图景,希望对读者有所帮助。 读者对象 准备进入云计算领域的学生或者初级读者:阅读本书可以快速了解企业私有云建设全景,从而少走一些弯路。 已经进入云计算领域并且有一定相关知识背景或认知的读者:相信本书的一些实践可以给他们的实际工作带来一些启发。 从事售前工作的读者:通过阅读本书中来自一线的实践,可以为用户创造更多价值。 企业IT管理者:通过阅读本书可以了解私有云的架构设计和技术,有助于IT选型和决策。 如何阅读本书 阅读本书之前,读者应该具备一定的虚拟化、SAN或软件定义网络、软件定义存储,以及Linux系统运维和高可用等相关方面的基础知识。本书共分为10章。 第1章从企业信息化的角度,结合云计算的架构和关键技术,讨论了企业信息化建设在理念、模式及评价标准等方面发生的重大变化。同时鲜明地指出面对新变化和数字化转型,企业未来的信息化应用不能再沿用原有的发展模式,而是要突破发展惯性和厂商依赖,顺应时代潮流,不断探索新技术,不断创新发展,自主可控地融入大的生态,才能实现持续发展和基业长青。 第2章从企业私有云建设的需求分析入手,结合技术路线选择和资源管理、监控与运维,简明扼要地讨论了私有云的建设和管理。 第3章从计算、网络、存储资源池等方面描述了企业私有云的规划和建设。 第4章重点介绍了企业在OpenStack私有云建设中的设计和部署实践,并从计算资源、存储资源、网络资源,以及私有云相关的高可用实现、备份容灾实现等方面阐述了企业OpenStack私有云建设应遵循的实践原则,同时介绍了OpenStack在多租户支持、规模性支持、混合云支持和安全性等方面的现状和进展。 第5章重点介绍了企业在VMware私有云建设中的整体设计与部署,并从VMware vSphere体系架构、计算资源、存储资源、网络资源,以及私有云相关的高可用实现、备份容灾实现、高级扩展功能等方面阐述了企业VMware私有云建设应遵循的参考实践,同时介绍了VMware在大数据平台、容器应用、PKS容器管理平台等方面的现状和进展。 第6章从产品设计和架构设计两方面阐述了企业私有云设计的通用原则。 第7章从企业私有云平台的设计原则和建设思路谈起,贯穿架构设计、部署和管理、容器与容器云建设、灾备建设与管理、服务与安全、运维与效益分析等各个方面,完整诠释了企业云技术平台的建设和管理,融入了很多技术理念和设计思想,希望能给大家带来启发和思考。 第8章以容器部署方式为基础,从技术规划、部署运维、日志监控、二次开发和升级扩容等多个维度介绍了OpenStack私有云的最佳实践。通过本章的阅读,读者应能采用Kolla项目实现OpenStack私有云,同时对其进行简单的管理维护和使用。 第9章从VMware软件定义网络、软件定义存储和SRM容灾规划设计三个方面描绘了企业私有云环境下的应用场景,介绍了一些最佳实践和部署方案。通过本章的阅读,读者可采用这些实践推荐的方法更好地管理自己的私有云,同时对其进行深入的管理维护和使用。 第10章从私有云成熟度评估的角度,阐述了企业“建云”只是一切的开始,在“用云”和“上云”的过程中,需要将云化的思想深植于企业文化中。通过评估寻找差距、定位问题,通过持续优化和改进,迭代前进,小步快走,这样才能使企业通过私有云的建设和应用真正发挥IT转型的价值和意义。 勘误和资源 在本书的写作过程中,笔者参考了很多VMware官方社区的资料和OpenStack社区的文档与视频,同时也参考了很多技术专家的经验分享,希望能为广大云计算从业者呈现一本涵盖基础理论与最佳实践的参考书籍。但是由于技术变化之快,加之笔者水平有限,书中难免存在技术延后和谬误观点,若书中有任何不妥之处,恳请读者批评指正。读者可将意见发送至邮箱xjsunjie@126.com进行反馈。 致谢 感谢瑞飞的领导和兄弟们,包括杨剑锋书记、陆春阳副总经理、安向哲副总经理、付长春、娄宏骏、杜广源、王立福、王茜、李萍、马军、张靓、蔺田、丁永利、刘可欣、梁书豪、吴远英,还有一些未提到的兄弟姐妹,你们在工作和生活上的帮助和指导让我受益良多,非常感谢! 感谢VMware的技术专家伍万力先生分享了很多专业资料,并从专业的角度对本书提出了宝贵意见,从而使本书的知识描述更加严谨而准确。 感谢中国移动研究院的张婷婷为本书编写了第10章内容,从而使本书的内容体系更加完善。 感谢机械工业出版社华章公司的杨福川先生和李艺女士,正是因为你们的付出和关心、帮助才有了本书的问世。 感谢云星数据副总裁楼炜在多云管理方面经验的无私分享,让技术因分享更有力量! 此外,还要特别感谢我的爱人刘淅萍,她的鼓励和支持让我愉快地度过了这段难熬的写作时光。 感谢帮我校正文字和排版的于潼,谢谢你辛勤的付出。 孙 杰 读者对象 本书理论与实践相结合,细致梳理和总结了企业私有云建设各方面的实践,非常适合云计算的初学者、架构师、运维工程师等人员阅读。相信本书一定能带给您许多启迪和思考! 当前阶段,企业私有云解决方案以商业VMware和开源OpenStack为主,但是针对企业私有云建设进行系统论述和讲解的书籍寥寥无几。本书由多位终端企业用户执笔,全方位分享了不同行业私有云建设的实践心得,书中总结的实践经验覆盖了企业私有云建设的各个方面,对不同行业的读者都极具参考价值! OpenStack已经成为开源云的事实标准,VMware在这个市场上也保持着一定的占有率,可以说私有云的建设绕不过OpenStack和VMware。本书作者抓住这一特点,系统剖析了当前企业私有云建设的需求,重点分析了OpenStack和VMware 两种技术选型和部署管理实践,并总结了私有云成熟度评估,对企业私有云建设的决策者和技术人员都有好的指导作用。 本书提炼的技术和非技术的关键元素,可望为有志于企业私有云建设的朋友们节省宝贵的时间和资金。 推荐序 Foreword 序1 终于等到本书出版了,这是我一年多以来一直期待的事情!本书的作者都是与我相识已久的业界专家。孙杰老师是行业内资深架构师,在认识孙老师之前,我就已在51CTO博客频道读过多篇孙老师的技术博文,孙老师的博客曾经连续三年获得“51CTO十大博客”奖项。当时虽未谋面,但是已对孙老师的技术功力非常敬佩。后来有幸认识并有机会经常与孙老师交流,更是深深地被孙老师对技术的精深思考所折服。山金孝老师曾就职于IBM公司,现就职于招商银行,是国内较早接触OpenStack的一线技术专家,山老师出版的《OpenStack高可用集群》在技术圈得到广泛认可,成为许多IT从业者必备的参考书。张亮老师一直在国际知名外企做IT管理咨询,对于IT管理认知的高度和广度在业内首屈一指,经常会给人带来醍醐灌顶的思考。张婷婷老师是中国移动通信研究院的项目经理,在私有云的建设评估方面经验丰富。 本书的四位作者长期参与企业私有云的理论研究、架构设计、技术选型、部署实施和日常管理,十分了解企业私有云建设维护方面的需求和难点。本书不只是讨论私有云技术,而且对私有云进行了全景式论述。本书分享了云计算如何为企业信息化赋能、企业私有云建设的需求分析和技术架构规划。在设计方面,本书讨论了私有云计算、网络、存储的规划和建设,以及企业私有云设计的通用原则。从产品角度,本书分享了目前主流的开源私有云方案OpenStack、商业的私有云方案VMware在私有云建设方面的实践。本书第10章还深入讨论了私有云的管理及成熟度评估。 本书经过一年多时间打造而成,在成书过程中,几位作者经常一起探讨,我有幸也参与其中,每次都感觉收获满满,相信通过阅读本书,读者也会有同样的感觉。 肖 力 云技术社区创始人 Foreword 序2 传统企业数据中心基础架构一般都是经历多年分阶段建设,包括多异构平台、多操作系统、多应用软件、多数据库等,造成软硬件资源无法共享、系统动态可扩展性差、资源调度缺乏灵活性、信息数据“孤岛”严重、运营管理成本高,很难满足业务发展与激烈的市场竞争需求,也很难适应新数字经济环境下的技术创新和新型商业模式。而基于网络和虚拟化技术的云计算能够根据需求灵活敏捷地将计算资源切换到所需的应用上,满足弹性需求;同时为解决跨平台资源共享与服务,以及实现快速自动部署、安全且高效地交付应用、工作负载均衡和协同管理,提供了很好的解决方案。 近几年随着云计算、大数据等ICT技术的不断进步,云计算已经从概念走向务实、落地,进入实际应用阶段。借助云的力量,企业实现了IT架构融合、应用融合,并向数字化智能化转型升级迈进。云计算已成为两化深度融合的核心和企业信息化建设的核心基础平台;已成为企业商业模式创新、技术创新和管理模式变革的引擎,以及企业数字化转型的基础;已成为融合基础设施、运算平台、软件解决方案乃至企业管理的庞大体系;已成为信息技术产业中市场规模增长最快、创业和创新最为活跃的部分。 VMware在虚拟化解决方案和云计算超融合基础架构领域处于全球领先地位,它通过集成计算、软件定义网络、软件定义存储、自动化和管理功能及SRM容灾规划设计,降低复杂性以及更灵活、更敏捷地交付服务来提高企业的IT效率;而OpenStack在虚拟化、业务计算、多租户支持、混合云和安全性上为简化云部署提供了实施简单、扩展性强、功能丰富的云计算管理平台。伴随着数字化和智能化新时代的到来,IT架构师应具有超前的理念和洞察力、扎实的理论功底和专业知识、丰富的实践经验;企业IT架构设计应与企业业务发展有机融合,引导企业业务创新,实现企业提质增效,支撑企业稳健发展。因此,无论是不同层级的IT技术人员,还是企业的管理人员,都需要了解和掌握云计算建设的相关技术和发展趋势,这就需要找到一本真正使云计算建设落地的专业指导书。 本书作者从企业私有云建设的实践出发,针对性地围绕私有云的规划、设计建设和部署实践、云平台体系架构、计算资源、存储资源、网络资源、大数据平台、容器应用、多云管理、容灾备份、服务与安全、运维与效益分析等方面详细阐述了应遵循的原则和参考实践,很好地梳理了企业私有云建设与管理及技术发展趋势,融入了很多新技术理念和设计思想,介绍了他们积累多年的最佳实践经验,对贴近实战富有指导意义。本书可作为IT技术工程师的基础参考书籍,同时希望对IT人员在云计算领域的研究开发工作有所启发和帮助。 孙杰先生在云计算领域从事研究工作多年,积累了丰富的平台建设实践经验。本书以实践为核心,首次深入浅出地从VMware和OpenStack两个角度详细阐述了企业私有云建设的重要技术内容。精读之后不禁为之大为赞叹,深感敬佩,本书也为越来越多的企业级云计算建设落地提供了非常多的启发与思考。感谢孙杰先生为企业云计算建设所做的贡献! 赖能和 中国石油集团东方地球物理公司研究院数据中心总工程师、教授级高级工程师 Foreword 序3 1961年,后来被称作“人工智能之父”的MIT的John McCarthy教授提出,未来某一天,计算机将会像电话系统一样被组织成为一个全新的基础设施供用户使用。可以说这是第一个关于云计算模式的预言。 进入新千年之后,McCarthy教授的预言逐渐成为了现实。而今,经过十多年的快速发展,云计算几乎成为了IT基础设施的代名词。尤其是私有云和混合云,已经是企业IT建设的事实参考架构。而在数字化转型大潮来临的大趋势下,升级IT基础设施到云模式,已经成为企业获取竞争优势的必要IT战略之一。 升级转型到云模式,对企业来说,成功的基础,是真正理解云计算的三个核心目标: 第一个建设目标,是使用虚拟化技术,抽象所有IT资源,使之成为应用在其之上可以任意部署的资源池。当下绝大多数企业私有云建设,都能很好地实现这个目标,使得IT资源的使用效率大幅度提升; 第二个建设目标,是利用软件定义技术,使得所有IT资源的运维管理高度自动化/自服务化。而这一目标的实现,除了选择适合企业特点的产品技术之外,企业IT自身内功的修炼,几乎成为IT云化转型成败的关键。首先,企业IT需要新的能力建设,即把自动化运维落实到日常生产中的能力;再有,企业IT的组织管理流程,也需要配合先进的自动化运维管理手段,而不是成为其障碍。当前的企业私有云建设,在这一方面正在快速地积累经验,取得成效。 企业IT云化转型的前两个目标,都具有一定的“内部优化”的意味。事实上,这两个目标的实现,是为了企业IT云化转型的第三个目标建立一个坚实的基础。这第三个目标,就是把企业云,建设成为企业的数字业务创新平台,企业数字化转型的引擎。这就需要,企业云在保证对已有业务系统的高效、高可靠支撑的同时,也能够支持新的云原生应用的快速迭代,建设基于物联网、大数据、人工智能应用的开发运行平台等等。 我们欣喜地看到,一些IT建设领先的企业,已经开始把关注的焦点、能力的建设、资源的投入,转向第三个目标。 他山之石可以攻玉,在企业云转型的过程中,他人积累的经验甚至教训,可以大幅度减少自己工作中摸索的时间,从而往往形成后发优势。 而另一方面,云技术和所有IT技术一样,依然在快速迭代,发展。从基础技术上看,计算正在从单一的X86架构走向多元化;网络虚拟化的边界正在打破数据中心,甚至成为跨云融合的技术基础;而云服务模式越来越混合化,IaaS、PaaS、SaaS常常需要同时提供才能最好地满足业务的要求。云的架构也正在悄悄演变,5G和IoT的应用场景,使得计算能力从向云集中,转变为同时需要边缘部署。 所有这些,也提醒我们,当我们为未来规划的时候,不仅仅要看已经积累的经验,还要关注未来的方向,所谓站在后天的角度,思考明天的方向。 我们正处在一个令人兴奋的,充满新机遇的时代,让我们不断分享在云转型道路上的切身体会,激发对未来方向的洞见和思考,共同推动企业IT云化以及业务的数字化转型。 李 刚 VMware大中华区高级技术总监 Foreword 序4 2006年,亚马逊推出了AWS,正式拉开了全球云计算产业的大幕。发展到2018年,云计算业已成为企业IT转型的核心驱动力。已经走向成熟的云服务正在颠覆传统的IT架构,它在带来业务创新的同时也在实现自我突破。 从用户群体来看,公有云网罗了一大批中小企业与个人开发者,私有云巩固了大中型企业的IT堡垒,混合云则最受大型政企的青睐。随着国家“互联网+”战略的逐步推进,国内云服务市场已经初步发展成熟,用户群体也正在由中小企业和互联网企业,向制造、金融、能源、交通等传统行业快速渗透。 传统行业一般规模较大,直接与现实生活紧密结合,因此对云计算的性能、安全性、可靠性和运维能力等提出了新的要求。在以AWS、GAE、阿里云等为代表的公有云快速发展的同时,很多大型企业出于对数据安全性和隐私保护、系统稳定性、软硬件自主权以及TCO低的考虑,更加倾向于建设企业私有云来承载内部业务信息系统的运行。 企业私有云的建设并非只是新技术的变革与引入,而是颠覆传统信息系统建设模式的系统工程。结合企业的特定需求,企业私有云的建设思路不尽相同,建设方法也不会千篇一律。是选择商用云平台还是选择开源云平台来创建企业的私有云,需要企业依据自身技术能力、资金投入总量、实现业务效果等各个方面综合考虑。所以是选择商用平台还是开源平台没有好与不好的问题,只有是否适用的问题。当然,建设企业私有云不能一蹴而就,而将是持续不断的投入过程,需要在实践中不断摸索前进。 本书作者历时经年,在对传统大型企业私有云的研究中,结合企业实践去其糟粕,取其精华,凝其专业经验与深入思考著成此书,让我不禁为之钦佩与赞叹!本书立意明确,以具体实践为核心,从云技术选型、设计到平台建设和管理等方面,结合商业的VMware和开源的OpenStack两种不同的解决方案,全面剖析了当下企业私有云建设多个方面的实践情况,展现了企业私有云的建设图景,也为其他企业的私有云建设与规划提供了非常多的启发与思考!匠心之作,值得细读! 何宝宏 中国信息通信研究院云大所 Foreword 序5 企业私有云建设是一项系统工程,从企业信息化或云化理念、模式和观念转变,到需求分析,再到规划、建设和实施,都不是一蹴而就,几句话、几次交流就能够说清楚的。OpenStack社区从2015年开始就致力于OpenStack改造,使其不仅能够成为公有云可选方案,也能够成为企业私有云开源软件解决方案的不二选择,即所谓的企业就绪(Enterprise Readiness)OpenStack。在此期间,我们做过相当多的增强开发,包括实时迁移、滚动升级等,其中也不泛争论过“是Pet还是Cattle”。现在,我们可以说OpenStack运用到企业私有云建设中已经完全不成问题了,成功案例也有许多。 然而,对于一个不太熟悉IT或者不太熟悉云化的企业来说,要想成功做到信息化转换,离不开专业技术团队的帮助和指导。而且,就算是依赖供应商或者自己定制,企业仍然需要事先对私有云建设进行系统的学习和全盘的规划。本书立足现实,面向未来,从云计算技术选型、设计到平台建设和管理等诸多方面出发,结合商业的VMware和开源的OpenStack,全面剖析时下企业私有云建设实践情况,并展现私有云建设前景。它的问世恰好满足了市场上这块业务的需求,相信本书能给予希望了解企业私有云的读者很多帮助。另外,我个人觉得本书一大特色是,除了专注私有云建设实践之外,同时引入和介绍开源及闭源两种方案,给读者更多的选择和参考。对我这样一个在开源社区摸爬滚打多年的人来说,这也是学习闭源VMware、了解闭源,以及掌握它们之间迁移技术的一本好书。 最后,值得一提的是,本书的几位作者:招商银行的山金孝、中油瑞飞的孙杰、联想的张亮、中国移动的张婷婷,都是在技术第一线工作的“老兵”,有着丰富的运维和建设经验。他们当中多人也是多部云计算相关畅销书的作者,相信这次几位合力创作这本书,必将使它成为企业私有云建设和运维方面的经典之作。 王庆博士 英特尔开源技术中心网络与存储高级经理 OpenStack基金会个人独立董事 目录 Contents 目 录 序1 序2 序3 序4 序5 前言 引言 1 第1章 企业信息化与云计算架构和关键技术 2 1.1 企业信息化发展的阶段和转型重点 2 1.1.1 企业信息化发展的三个阶段 2 1.1.2 企业信息化转型的六个重点 4 1.2 云计算参考架构 6 1.3 典型的云计算解决方案架构 10 1.3.1 IaaS架构 11 1.3.2 PaaS架构 12 1.3.3 SaaS架构 17 1.4 云计算涉及的关键技术 18 1.5 小结 22 第2章 企业云计算涉及的技术选型和管理 23 2.1 企业私有云建设需求分析 23 2.2 企业私有云技术路线选择 24 2.3 计算资源管理 26 2.3.1 VMware 26 2.3.2 OpenStack 29 2.4 存储资源管理 34 2.4.1 VMware 34 2.4.2 OpenStack 37 2.5 网络资源管理 42 2.5.1 VMware 42 2.5.2 OpenStack 43 2.6 监控管理 44 2.6.1 监控指标的设定和调整优化 44 2.6.2 统一运维监控平台和告警处理 48 2.7 运维管理 49 2.7.1 IT运维流程与规范 49 2.7.2 自动化运维工具 51 2.7.3 云环境下的新型IT运维体系 52 2.8 云服务管理 53 2.8.1 云服务的分类 53 2.8.2 云服务的建设 55 2.8.3 云服务质量评估 55 2.8.4 云服务安全性和法规遵从 57 2.9 小结 57 第3章 企业需求分析和私有云资源规划及设计 58 3.1 企业信息技术需求分析 58 3.1.1 基础设施需求 58 3.1.2 系统灾备需求 60 3.1.3 业务信息系统需求 61 3.1.4 数据与标准化需求 62 3.2 企业私有云资源规划及设计 63 3.2.1 企业应用软件模式划分 63 3.2.2 企业私有云建设的总体原则 63 3.2.3 云管理平台设计 64 3.2.4 网络资源池设计 66 3.2.5 计算资源池设计 67 3.2.6 存储资源池设计 69 3.2.7 如何开始业务的上云迁移 73 3.2.8 设备的利旧 76 3.3 小结 77 第4章 OpenStack私有云设计与部署 78 4.1 计算资源 79 4.1.1 物理服务器与裸机 79 4.1.2 Hypervisor与虚拟机 83 4.1.3 Docker与容器 85 4.2 存储资源 86 4.2.1 块存储 88 4.2.2 对象存储 91 4.2.3 文件存储 92 4.3 网络资源 93 4.3.1 物理网络 96 4.3.2 虚拟网络 97 4.4 高可用部署与备份容灾 101 4.4.1 高可用部署 101 4.4.2 备份与恢复 108 4.4.3 异地容灾 110 4.5 其他 113 4.5.1 多租户支持 113 4.5.2 规模性支持 115 4.5.3 混合云支持 116 4.5.4 云安全 117 4.6 小结 117 第5章 VMware私有云设计与部署 118 5.1 私有云整体设计 118 5.1.1 设计要点和建设思路 118 5.1.2 架构概览 122 5.2 vSphere体系架构 124 5.2 1 基于vSphere的数据中心私有云基础架构 124 5.2.2 ESXi体系结构 125 5.2.3 资源分配方式 130 5.3 计算资源规划设计与部署 131 5.3.1 物理服务器部署与管理 131 5.3.2 虚拟机规划与部署 133 5.4 存储资源规划 134 5.4.1 共享存储逻辑规划 135 5.4.2 存储空间规划 136 5.4.3 存储分层规划 137 5.4.4 数据存储集群规划 137 5.4.5 分布式存储规划 138 5.5 网络资源规划 139 5.5.1 虚拟交换机规划 140 5.5.2 物理服务器网卡绑定 141 5.5.3 网络I/O控制(NIOC) 142 5.5.4 无代理终端安全防护 143 5.6 集中式管理规划 146 5.7 高可用部署与备份及容灾 148 5.7.1 高可用部署 148 5.7.2 备份与恢复 149 5.7.3 灾难恢复 152 5.8 高级扩展功能 158 5.8.1 vMotion 159 5.8.2 DRS 161 5.8.3 HA 164 5.8.4 FT 170 5.8.5 大数据平台 172 5.8.6 容器应用 175 5.8.7 VMware PKS容器管理平台 177 5.9 小结 178 第6章 企业私有云设计的通用原则 179 6.1 产品设计通用原则 180 6.2 架构设计通用原则 182 6.3 小结 185 第7章 企业私有云平台建设和管理 186 7.1 企业私有云平台设计原则和建设思路 186 7.1.1 设计原则 186 7.1.2 建设思路 187 7.2 架构设计 188 7.2.1 云平台概述 188 7.2.2 云平台分层架构 188 7.3 部署和管理 190 7.3.1 云平台的部署 190 7.3.2 云资源管理 191 7.3.3 配置与合规性管理 192 7.3.4 流程管理 194 7.3.5 监控管理 195 7.3.6 容量管理 195 7.3.7 存储管理 196 7.3.8 租户和权限 197 7.3.9 接口设计 198 7.3.10 生命周期管理 199 7.3.11 计费管理 199 7.3.12 多云管理 199 7.4 容器与容器云建设 201 7.4.1 容器技术的兴起 201 7.4.2 企业容器云建设需要遵循的原则 201 7.4.3 容器云技术的产品选型 202 7.4.4 容器云建设的几个关键点 203 7.4.5 容器与OpenStack和Kubernetes集成的能力 207 7.5 灾备建设与管理 207 7.5.1 灾备建设的意义 207 7.5.2 灾备规划与分析 208 7.5.3 灾备的级别和等级划分? 210 7.5.4 设计整合的架构 211 7.5.5 灾备测试 212 7.6 服务与安全 213 7.6.1 云服务 213 7.6.2 云安全 218 7.7 运维与效益分析 220 7.7.1 运维技术的发展 220 7.7.2 一体化智能运维管理平台的构建 221 7.7.3 云平台效益分析 223 7.8 小结 224 第8章 企业私有云OpenStack最佳实践 225 8.1 自动化与DevOps 225 8.2 中心化日志监控与可视化 226 8.2.1 中心化日志监控与检索 226 8.2.2 性能数据监控与可视化 228 8.2.3 网络监控与可视化 229 8.3 OpenStack私有云容器化部署技术规划 230 8.3.1 Docker存储驱动 230 8.3.2 Docker容器存储卷 231 8.3.3 集群环境清除 231 8.3.4 自定义配置部署 232 8.3.5 自定义镜像编译 232 8.4 OpenStack容器化私有云部署最佳实践 233 8.5 OpenStack容器化私有云二次开发最佳实践 236 8.6 OpenStack容器化私有云扩容升级最佳实践 239 8.6.1 OpenStack集群扩容最佳实践 239 8.6.2 OpenStack集群升级最佳实践 240 8.7 小结 242 第9章 企业私有云VMware最佳实践 243 9.1 VMware软件定义网络之规划设计与实践 243 9.1.1 物理网络规划设计 243 9.1.2 数据中心访问层规划设计 248 9.1.3 各功能模块规划设计 256 9.1.4 NSX-V、NSX-MH和NSX-T 263 9.1.5 NSX与OpenStack的集成 266 9.1.6 NSX总结 266 9.2 VMware软件定义存储之规划设计与实践 267 9.2.1 软件定义存储方案概括 267 9.2.2 应用于关键应用的方案框架 268 9.2.3 应用于虚拟桌面场景的方案框架 269 9.2.4 应用于二、三层应用或测试和开发的方案框架 270 9.2.5 应用于灾备的方案框架 271 9.2.6 VSAN规划设计细则 273 9.2.7 VSAN部署最佳实践 277 9.3 SRM容灾规划设计与最佳实践 279 9.3.1 灾难恢复的重要意义 279 9.3.2 SRM简介 281 9.3.3 容灾设计要求 281 9.3.4 实施方案选择 282 9.3.5 网络设计 284 9.3.6 存储设计 287 9.3.7 配置清单及说明 288 9.3.8 SRM容灾总结 288 9.4 小结 289 第10章 企业私有云通用能力成熟度评估 290 10.1 成熟度评估概念和模型 290 10.1.1 成熟度评估模型 290 10.1.2 私有云成熟度发展阶段 292 10.1.3 应用场景及适用性 293 10.1.4 评估方法 295 10.2 技术成熟度评估 295 10.2.1 云服务规划技术 295 10.2.2 云资源提供技术 297 10.2.3 云服务管理技术 301 10.2.4 云安全技术 302 10.3 管理成熟度评估 303 10.3.1 云服务规划管理 303 10.3.2 云资源提供 305 10.3.3 云服务管理 305 10.3.4 云安全管理 306 10.4 成熟度效果评估 306 10.4.1 云服务规划 306 10.4.2 云资源提供 308 10.4.3 云服务管理 310 10.4.4 云安全效果 311 10.5 成熟度评估实践案例 311 10.6 小结 313