分布式与集群

简介:

   一直听说过分布式由于找工作需要所以学习,都知道有分布式集群(Hdoop)、分布式存储(GFS,NFS)、分布式数据库(Hbase,redis,memcaced)、分布式系统、分布式软件等,今天开始后续的学习。

      分布式就是分开了、分散了、比如数据处理(北京搞北京、天津搞天津),比如集群(一个人干一件事、发现不如一个人生十个八个然后每俩去干一件事情)。

       行处理是利用多个功能部件或多个处理机同时工作来提高系统性能或可靠性的计算机系统,这种系统至少包含指令级或指令级以上的并行。

       分布式处理则是将不同地点的,或具有不同功能的,或拥有不同数据的多台计算机通过通信网络连接起来,在控制系统的统一管理控制下,协调地完成大规模信息处理任务的计算机系统。(百科解释)

  以下是整理的一个聊天的资料比较的分布式与集群的区别:一句话,就是:“分头做事”与“一堆人”的区别

集群是个物理形态,分布式是个工作方式。

集群一般被分为三种类型,高可用集群如RHCS、LifeKeeper等,负载均衡集群如LVS等、高性能运算集群。

管理方式:集群一般是物理集中、统一管理的,而分布式系统则不强调这一点。

分布式:一个业务分拆多个子业务,部署在不同的服务器上,当然一个子业务也可以部署一个集群(哈哈)

集群:同一个业务,部署在多个服务器上

分布式中的每一个节点,都可以做集群。 而集群并不一定就是分布式的。

分布式:指将不同的业务分布在不同的地方。 

集群:将几台服务器集中在一起,实现同一业务。

效率:

分布式:以缩短单个任务的执行时间来提升效率的。

集群则:通过提高单位时间内执行的任务数来提升效率。

中心化:

分布式是相对中心化而来,强调的是任务在多个物理隔离的节点上进行。中心化带来的主要问题是可靠性,若中心节点宕机则整个系统不可用,分布式除了解决部分中心化问题,也倾向于分散负载,但分布式会带来很多的其他问题,最主要的就是一致性。

集群就是逻辑上处理同一任务的机器集合,可以属于同一机房,也可分属不同的机房。分布式这个概念可以运行在某个集群里面,某个集群也可作为分布式概念的一个节点。

集群则是一组物理计算机的组合,组合起来的目标得看具体场合,比如有的是为了提高可用性,有的是为了提高性能,有的是为了应对高并发。集群内的计算机之间使用什么方式进行协作,得看它们用的是什么软件系统:既可能是分布式的系统也可能是普通的软件系统。


案例一:如果一个任务由10个子任务组成,每个子任务单独执行需1小时,则在一台服务器上执行该任务需10小时。

采用分布式方案,提供10台服务器,每台服务器只负责处理一个子任务,不考虑子任务间的依赖关系,执行完这个任务只需一个小时。(这种工作模式的一个典型代表就是Hadoop的Map/Reduce分布式计算模型)

而采用集群方案,同样提供10台服务器,每台服务器都能独立处理这个任务。假设有10个任务同时到达,10个服务器将同时工作,1小时后,10个任务同时完成,这样,整身来看,还是1小时内完成一个任务,而对于分布式而言???


案例二:集群强调的是任务的同一性,分布式强调的是差异性。例如同样是负责文件传输的服务器,

对终端用户而言它只知道文件传到服务器上了,不在乎后台是几台服务器,分布在那些机房。

对于后台管理人员而言,同样是文件上传我可以在上海放置服务器处理上海地区的请求,

北京放置服务器处理北京的请求,最终实现全部地区用户可上传文件的任务,所以从这个角度来看是分布式的。

另一方面,上海的服务器可能有多台,同时处理上海来的请求,只是前端做了负载均衡,其内部运行逻辑什么的

完全是另外一台的clone,有一台挂掉了对整体业务无影响,所以从这个角度看是集群。如果北京的服务器全挂了,

那么北京的用户就没得玩了,从分布式的角度看对此是无能为力的,如果在此情况下我将北京的请求转到上海,

实现城市间的集群概念,那么就可handle 这个问题了。不过目前好像集群的概念用的比较范了,

你对用户说他的文件上传到了服务器集群也是ok的,至于内部是怎么个架构怎么个分布都无所谓了。


案例三:加入一个企业用一套体量很大的系统,需要高效率处理任务的目标时,我觉得采用分布式+集群的模式 是不是应该是最佳的。也就是说,先用分布式把这套系统进行负载均衡,即把各个功能模块进行拆分(也就是分布式概念),然后在拆分的基础上增加集群(个人觉得这个不错)。

所以,集群可能运行着一个或多个分布式系统,也可能根本没有运行分布式系统;分布式系统可能运行在一个集群上,也可能运行在不属于一个集群的多台(2台也算多台)机器上(蒙圈)。



本文转自 aklaus 51CTO博客,原文链接:http://blog.51cto.com/aklaus/1788881

相关文章
|
3月前
|
存储 负载均衡 NoSQL
【赵渝强老师】Redis Cluster分布式集群
Redis Cluster是Redis的分布式存储解决方案,通过哈希槽(slot)实现数据分片,支持水平扩展,具备高可用性和负载均衡能力,适用于大规模数据场景。
293 2
|
8月前
|
Cloud Native 关系型数据库 分布式数据库
登顶TPC-C|云原生数据库PolarDB技术揭秘:Limitless集群和分布式扩展篇
阿里云PolarDB云原生数据库在TPC-C基准测试中以20.55亿tpmC的成绩刷新世界纪录,展现卓越性能与性价比。其轻量版满足国产化需求,兼具高性能与低成本,适用于多种场景,推动数据库技术革新与发展。
|
7月前
|
Cloud Native 关系型数据库 分布式数据库
登顶TPC-C|云原生数据库PolarDB技术揭秘:Limitless集群和分布式扩展篇
云原生数据库PolarDB技术揭秘:Limitless集群和分布式扩展篇
|
8月前
|
并行计算 PyTorch 算法框架/工具
融合AMD与NVIDIA GPU集群的MLOps:异构计算环境中的分布式训练架构实践
本文探讨了如何通过技术手段混合使用AMD与NVIDIA GPU集群以支持PyTorch分布式训练。面对CUDA与ROCm框架互操作性不足的问题,文章提出利用UCC和UCX等统一通信框架实现高效数据传输,并在异构Kubernetes集群中部署任务。通过解决轻度与强度异构环境下的挑战,如计算能力不平衡、内存容量差异及通信性能优化,文章展示了如何无需重构代码即可充分利用异构硬件资源。尽管存在RDMA验证不足、通信性能次优等局限性,但该方案为最大化GPU资源利用率、降低供应商锁定提供了可行路径。源代码已公开,供读者参考实践。
663 3
融合AMD与NVIDIA GPU集群的MLOps:异构计算环境中的分布式训练架构实践
|
存储 分布式计算 负载均衡
分布式计算模型和集群计算模型的区别
【10月更文挑战第18天】分布式计算模型和集群计算模型各有特点和优势,在实际应用中需要根据具体的需求和条件选择合适的计算架构模式,以达到最佳的计算效果和性能。
433 62
|
11月前
|
存储 SpringCloudAlibaba Java
【SpringCloud Alibaba系列】一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论
一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论。
【SpringCloud Alibaba系列】一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论
|
分布式计算 Hadoop
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
247 1
|
分布式计算 Hadoop 网络安全
Hadoop-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
Hadoop-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
176 1
|
存储 机器学习/深度学习 缓存
Hadoop-07-HDFS集群 基础知识 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
Hadoop-07-HDFS集群 基础知识 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
272 1
|
分布式计算 资源调度 Hadoop
Hadoop-05-Hadoop集群 集群WordCount 超详细 真正的分布式计算 上传HDFS MapReduce计算 YRAN查看任务 上传计算下载查看
Hadoop-05-Hadoop集群 集群WordCount 超详细 真正的分布式计算 上传HDFS MapReduce计算 YRAN查看任务 上传计算下载查看
223 1

热门文章

最新文章