架构师之路 - 虚拟化技术与容器Docker

简介: 架构师之路 - 虚拟化技术与容器Docker

温馨提示:本文大概 3000 字,阅读需要 5 分钟。


通常架构师们为了提高系统及硬件资源的利用率引入了虚拟化技术。


虚拟化是一种资源管理技术,它可以把各种实体资源抽像后再分隔,从而打破实体结构的限制,最大程度的提高资源的利用率。

今天我们来聊一下传统虚拟化技术和以Docker为代表的容器技术。


虚拟化


虚拟化就是在一台物理服务器上,运行多台“虚拟服务器”。这种虚拟服务器,也叫虚拟机(VM,Virtual Machine)。

虚拟化出现的初衷主要是为了减少物理服务器的数量,提高服务器资源利用率。利用虚拟化技术将物理服务器隔离成多个小的虚拟服务器并提供部署能力。

简单来说,虚拟化可以为我们的工作带来以下几种便利:

  • 减少物理服务器数量
  • 提高资源利用率
  • 可实现环境隔离
  • 可实现资源隔离
  • 虚拟机可实现分钟级交付
  • 虚拟机的配件可动态扩容
  • 虚拟机的计算节点可动态迁移

虚拟化技术

我们主要使用Hypervisor,也叫做VMM(Virtual Machine Monitor,虚拟机监视器)来实现服务器的虚拟化,Hypervisor它不是一款具体的软件,而是一类软件的统称。像VMware、KVM、Xen、Virtual Box,都属于Hypervisor。

VMware大家应该很熟悉,就是VMware Workstation。学习Linux的话,很多人都是在windows系统下安装WMware,然后创建Linux虚拟机。

Linux服务器一般是使用KVM作为虚拟化工具,KVM (全称是 Kernel-based Virtual Machine) 是 Linux 下 x86 硬件平台上的全功能虚拟化解决方案,包含一个可加载的内核模块 kvm.ko 提供和虚拟化核心架构和处理器规范模块。


虚拟化平台架构

虚拟化平台主要有以下三种架构:

  • 本地存储
  • 物理机上运行虚拟机,虚拟机的盘在物理机的磁盘上
  • 集中存储
  • 运行虚拟机的物理机,虚拟机的磁盘在共享存储中。在集中存储架构中如果一台host挂了,VM可以通过平台的设置去另外一台物理机上运行,这就实现了虚拟机的动态漂移。
  • 分布式存储
  • 分布式存储架构中虚拟机的磁盘位于所有服务器上,这种架构也叫“计算存储一体化”,虚拟机的磁盘会打散成很多块块,这些块块分布于集群内所有的机器上,这样就实现了存储能力的最大化。虚拟机的IO不再受限于单机的磁盘,而是利用到整个集群里磁盘的能力。削峰填谷、提高了虚拟机的IO能力,而且通过冗余保障了数据的安全性。这种架构的缺点是严重依赖网络稳定性,一旦网络挂了,所有的虚拟机就会全挂。

虚拟化平台的高可用机制

虚拟化平台的高可用机制是指虚拟机所在的物理机挂了后可以将虚拟机快速切换到另外一台物理机运行。高可用的前提条件是物理机挂了,对于虚拟机内部的故障并没有检测机制,属于不完整的高可用方案,主要是基于以下两个目标:

  • 虚拟机计算节点动态迁移
  • 虚拟机磁盘动态迁移

虚拟化原则

虚拟机的出现是为了使一些大的计算资源分割成许多小的资源然后灵活调配 ,遵循的是分而治之的原则,如果一个虚拟机申请了物理机超过一半的资源就违背了这个原则,那样还不如直接使用物理机来的干脆,所以我们在使用虚拟化的时候一般要遵循以下几个原则:

  • 某一虚拟机所占资源不超过宿主机的40%
  • 不承载磁盘IO密集型组件(数据库,消息队列,搜索引擎)
  • 以双路2U服务器来说,整合比控制在1:4 – 1:10较为理想
  • CPU可一定程度上超量分配,最多可以超分一倍左右
  • 内存一般不可超量分配

Docker容器


在使用虚拟化一段时间后,发现它存在一些问题:

  • 虚拟机的系统层会占用比较多物理机的资源,需要更进一步提高服务器的资源利用率
  • 当需要迁移虚拟机服务程序时,需要迁移整个虚拟机,迁移流程复杂

为了解决这些问题,我们就引入了 容器。而大家常听说的 Docker,就是创建容器的工具,是应用容器引擎。容器也是虚拟化,但是属于“轻量级”的虚拟化。它的目的和虚拟机一样,都是为了创造“隔离环境”。但是,它又和虚拟机有很大的不同——虚拟机是操作系统级别的资源隔离,而容器本质上是进程级的资源隔离。

虚拟化 vs 容器


虚拟化 VS 容器

相比于传统的虚拟机,Docker的优势很明显,它启动时间很快,是秒级,而且对资源的利用率很高(一台主机可以同时运行几千个Docker容器)。此外,它占的空间很小,虚拟机一般要几GB到几十GB,而容器只需要MB级甚至KB级。

我们可以通过下面这张图来看虚拟化与容器之间的性能、资源利用率差距,非常明显

资源利用率对比


容器编排

利用Docker可以很方便的创建容器,但是当容器数量达到一定规模,就需要编排工具去管理,就是容器生命周期管理工具。

容器编排工具提供调度和管理集群的技术,提供用于基于容器应用可扩展性的基本机制。这些工具使用容器服务,并编排他们以决定容器之间如何进行交互。

容器编排工具很多,有Docker Swarm,Kubernetes,Mesos,Rancher,下面用一张图来对比下这些容器编排工具的特点及各自的优势。

容器编排技术


小结


今天主要对虚拟化技术及容器做了个简单的梳理,虚拟化和容器初衷与目的都是为了更好的提高资源利用率,至于两者之间的不同大家要务必记住一点:虚拟机是操作系统级别的资源隔离,而容器本质上是进程级的资源隔离。


 

如果本文对你有帮助,别忘记三连啊,点赞、转发、评论咱们下期见!

目录
打赏
0
0
0
0
30
分享
相关文章
阿里云SLB深度解析:从流量分发到架构优化的技术实践
本文深入探讨了阿里云负载均衡服务(SLB)的核心技术与应用场景,从流量分配到架构创新全面解析其价值。SLB不仅是简单的流量分发工具,更是支撑高并发、保障系统稳定性的智能中枢。文章涵盖四层与七层负载均衡原理、弹性伸缩引擎、智能DNS解析等核心技术,并结合电商大促、微服务灰度发布等实战场景提供实施指南。同时,针对性能调优与安全防护,分享连接复用优化、DDoS防御及零信任架构集成的实践经验,助力企业构建面向未来的弹性架构。
164 76
基于Transformer架构的时间序列数据去噪技术研究
本文介绍了一种基于Transformer架构的时间序列去噪模型。通过生成合成数据训练,模型在不同噪声条件下展现出强去噪能力。文章详细解析了Transformer的输入嵌入、位置编码、自注意力机制及前馈网络等关键组件,并分析实验结果与注意力权重分布。研究为特定任务的模型优化和专业去噪模型开发奠定了基础。
86 14
基于Transformer架构的时间序列数据去噪技术研究
数据中台架构与技术体系
本文介绍了数据中台的整体架构设计,涵盖数据采集、存储、计算、服务及治理等多个层面。在数据采集层,通过实时与离线方式整合多类型数据源;存储层采用分层策略,包括原始层、清洗层、服务层和归档层,满足不同访问频率需求;计算层提供批处理、流处理、交互式分析和AI计算能力,支持多样化业务场景。数据服务层封装数据为标准化API,实现灵活调用,同时强调数据治理与安全,确保元数据管理、质量监控、权限控制及加密措施到位,助力企业构建高效、合规的数据管理体系。
阿里云X86/ARM/GPU/裸金属/超算等五大服务器架构技术特点、场景适配与选型策略
在我们选购阿里云服务器的时候,云服务器架构有X86计算、ARM计算、GPU/FPGA/ASIC、弹性裸金属服务器、高性能计算可选,有的用户并不清楚他们之间有何区别。本文将深入解析这些架构的特点、优势及适用场景,帮助用户更好地根据实际需求做出选择。
从代码到容器:Cloud Native Buildpacks技术解析
Cloud Native Buildpacks(CNB)是一种标准化、云原生的容器镜像构建系统,旨在消除手动编写Dockerfile,提供可重复、安全且高效的构建流程。它通过分层策略生成符合OCI标准的镜像,实现应用与基础镜像解耦,并自动化依赖管理和更新。阿里云应用管理支持通过CNB技术一键部署应用至ECS,简化构建和运行流程。
MCP与A2A协议比较:人工智能系统互联与协作的技术基础架构
本文深入解析了人工智能领域的两项关键基础设施协议:模型上下文协议(MCP)与代理对代理协议(A2A)。MCP由Anthropic开发,专注于标准化AI模型与外部工具和数据源的连接,降低系统集成复杂度;A2A由Google发布,旨在实现不同AI代理间的跨平台协作。两者虽有相似之处,但在设计目标与应用场景上互为补充。文章通过具体示例分析了两种协议的技术差异及适用场景,并探讨了其在企业工作流自动化、医疗信息系统和软件工程中的应用。最后,文章强调了整合MCP与A2A构建协同AI系统架构的重要性,为未来AI技术生态系统的演进提供了方向。
265 4
深入解析Tiktokenizer:大语言模型中核心分词技术的原理与架构
Tiktokenizer 是一款现代分词工具,旨在高效、智能地将文本转换为机器可处理的离散单元(token)。它不仅超越了传统的空格分割和正则表达式匹配方法,还结合了上下文感知能力,适应复杂语言结构。Tiktokenizer 的核心特性包括自适应 token 分割、高效编码能力和出色的可扩展性,使其适用于从聊天机器人到大规模文本分析等多种应用场景。通过模块化设计,Tiktokenizer 确保了代码的可重用性和维护性,并在分词精度、处理效率和灵活性方面表现出色。此外,它支持多语言处理、表情符号识别和领域特定文本处理,能够应对各种复杂的文本输入需求。
203 6
深入解析Tiktokenizer:大语言模型中核心分词技术的原理与架构
自学软硬件第755 docker容器虚拟化技术youtube视频下载工具
docker容器虚拟化技术有什么用?怎么使用?TubeTube 项目使用youtube视频下载工具
随着云计算和大数据技术的发展,Hyper-V在虚拟化领域的地位日益凸显
随着云计算和大数据技术的发展,Hyper-V在虚拟化领域的地位日益凸显。作为Windows Server的核心组件,Hyper-V具备卓越的技术性能,支持高可用性、动态迁移等功能,确保虚拟机稳定高效运行。它与Windows深度集成,管理便捷,支持远程管理和自动化部署,降低管理成本。内置防火墙、RBAC等安全功能,提供全方位安全保障。作为内置组件,Hyper-V无需额外购买软件,降低成本。其广泛的生态系统支持和持续增长的市场需求,使其成为企业虚拟化解决方案的首选。
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等