集群和分布式

简介: 集群和分布式

本文以即时通讯软件(IM)为例,介绍单机、集群、分布式的区别,以及它们各自的优缺点。

假设现在开发一款IM,刚开始业务比较简单,用户量也较少,我们将服务部署在一台单机服务器上足矣。软件开发过程中为了让程序更加清晰,便于维护,采用模块化编程。一款IM服务大致包括:用户管理、好友管理、群组管理、消息管理、后台管理。

之后随着用户数量的增长,渐渐发现,单机性能有限,支持的用户并发量较小。并且,我们的代码只是采用模块化方式编写,一个模块出现问题,往往需要将整个项目重新编译,部署,耗时耗力。再之,系统中有些模块属于CPU密集型,有些模块属于I/O密集型,各模块对硬件资源的需求不一样,所以在进行服务器选型时只能综合各模块,可能会导致资源的浪费或过剩。

所以,针对单机性能瓶颈的问题,提出了集群的概念,每一台服务器独立运行一个工程的所有模块,事实上集群就是再多加几台服务器提供服务,比如:

服务器数量的增加自然解决了单机性能瓶颈的问题,但项目部署在多台机器上,代码修改后仍然需要花费大量的精力重新部署项目。并且对于不常用的后台管理模块没必要每台机器上都部署。因此,水平扩充机器的集群方式,仍然存在一些问题。

下面再来看看分布式模式,一个工程拆分了很多模块,每一个模块独立部署运行在一个服务器主机上,所有服务器协同工作共同提供服务,每一台服务器称作分布式的一个节点,根据节点的并发要求,对一个节点可以再做节点模块集群部署。

将模块部署到不同的主机,这样修改单独的模块,不影响其他主机模块的运行,并且对于单机性能瓶颈的问题,也可以通过增加节点集群的方式提高性能。

但要实现分布式的模式,对我们的要求就更高,比如,系统要划分模块,怎么划分合理?CPU密集型和I/O密集型模块部署在不同性能的机器上?模块之间会不会存在大量重复的代码?模块之间的调用如何进行等等。模块运行在不同的主机上,模块之间的调用自然就会涉及到网络通信,因此,我们必须实现一个分布式网络通信框架来做支撑。

可见,随着业务增长,程序框架也必须随之改变,而一个好的框架设计往往能在开发、维护方面节约大量成本。

相关文章
|
25天前
|
存储 Kubernetes 数据安全/隐私保护
k8s对接ceph集群的分布式文件系统CephFS
文章介绍了如何在Kubernetes集群中使用CephFS作为持久化存储,包括通过secretFile和secretRef两种方式进行认证和配置。
28 5
|
1月前
|
存储 NoSQL 算法
MongoDB保姆级指南(中):从副本集群、分片集群起航,探索分布式存储的趋势!
本文一起来聊聊MongoDB集群,顺带以MongoDB集群为起点,共同探讨一下分布式存储的发展趋势~
106 15
|
25天前
|
分布式计算 资源调度 Hadoop
在YARN集群上运行部署MapReduce分布式计算框架
主要介绍了如何在YARN集群上配置和运行MapReduce分布式计算框架,包括准备数据、运行MapReduce任务、查看任务日志,并启动HistoryServer服务以便于日志查看。
34 0
|
3月前
|
Prometheus 运维 监控
解锁分布式云多集群统一监控的云上最佳实践
为应对分布式云多集群监控的挑战,阿里云可观测监控 Prometheus 版结合 ACK One,凭借高效纳管与全局监控方案有效破解了用户在该场景的监控运维痛点,为日益增长的业务需求提供了一站式、高效、统一的监控解决方案,实现成本与运维效率的双重优化。助力企业的数字化转型与业务快速增长,在复杂多变的云原生时代中航行,提供了一个强有力的罗盘与风帆。
55618 20
|
2月前
|
存储 缓存 NoSQL
高并发架构设计三大利器:缓存、限流和降级问题之Redis用于搭建分布式缓存集群问题如何解决
高并发架构设计三大利器:缓存、限流和降级问题之Redis用于搭建分布式缓存集群问题如何解决
|
1月前
|
存储 算法 NoSQL
(三)漫谈分布式之集群篇:探寻N个9高可用与PB级数据存储的实现原理!
本文来详细聊聊集群的各方面知识,为诸位量身打造出结构化的集群知识体系。
|
2月前
|
消息中间件 缓存 监控
如何设计一个秒杀系统,(高并发高可用分布式集群)
【7月更文挑战第4天】设计一个高并发、高可用的分布式秒杀系统是一个非常具有挑战性的任务,需要从架构、数据库、缓存、并发控制、降级限流等多个维度进行考虑。
91 1
|
2月前
|
关系型数据库 分布式数据库 PolarDB
**PolarDB开源指南:构建分布式数据库集群**踏上PolarDB开源之旅,了解如何从零开始搭建分布式集群
【7月更文挑战第3天】**PolarDB开源指南:构建分布式数据库集群**踏上PolarDB开源之旅,了解如何从零开始搭建分布式集群。采用存储计算分离架构,适用于大规模OLTP和OLAP。先准备硬件和软件环境,包括Linux、Docker和Git。然后,克隆源码,构建Docker镜像,部署控制节点和计算节点。使用PDCli验证集群状态,开始探索PolarDB的高性能与高可用性。在实践中深化学习,贡献于数据库技术创新。记得在安全环境下测试。
168 1
|
2月前
分布式篇问题之集群(Cluster)模式主控节点的高可用性问题如何解决
分布式篇问题之集群(Cluster)模式主控节点的高可用性问题如何解决
|
3月前
|
SQL 关系型数据库 MySQL
MySQL高可用架构设计:从主从复制到分布式集群
MySQL高可用性涉及主从复制、半同步复制和Group/InnoDB Cluster。主从复制通过二进制日志同步数据,保证故障时可切换。半同步复制确保事务在至少一个从服务器确认后才提交。Group Replication是多主复制,支持自动故障切换。InnoDB Cluster是8.0的集成解决方案,简化集群管理。使用这些技术能提升数据库的稳定性和可靠性。
338 2