ES高可用集群规模实战介绍

简介: ES高可用集群规模实战介绍

简介

集群是由多台服务器组成的,他们是横向扩展的代名词,而ES集群无非就是使用ES搭建的集群类型.但是实际上里面有很多门路,包括他的一个集群的最优配比,在本文中你可以了解到ES集群的几种类型,包括在实战中该怎么去应用和配置他们.


首先本文会按照集群的规模由小到大来进行介绍.

单集群

单节点集群

由一个节点组成的集群,也被称为单机,一般都是用于测试或者学习的环境,少部分公司尝试新技术或者规模体量不大的情况下会用于生产环境,但是不建议单机用于生产,不满足高可用的情况.

两节点集群

一般为2个全角色节点组成的集群,不满足高可用的场景,因为投票至少满足一半以上,目前只有2台机器,如果宕机一台那么也会不满足高可用.

三节点集群

高可用HA的最低配置,假设你有3节点的机器,那么你也就满足了所谓的高可用,3台里宕机一台,仍然至少有一半以上的机器可以使用,并且拥有投票权,如果只有3台节点,建议不需要设置纯master节点,可以设置Master和Data的混合节点,或者默认全角色节点,因为3个节点没有管理的必要性.

多节点集群

大于3个节点的集群,但是建议把Master候选数量固定设置为3个,并且最大的节点数量也不要超过100个节点,虽然可以设置100个节点以上,但是他们通信的时间会大幅增长.其中这里有一个优化的点,我们可以把3个中的一个设置为仅投票节点,他并没有所谓的被选举权,只拥有选举权,在满足高可用的情况下又能提高数据处理的性能,因为只要他能投票,无论是宕机了任意一个master节点,都不会对选举产生影响,也不会造成脑裂现象的发生.

多集群

单集群

一片区域内ES的集群我们可以称为单集群,他们的clusterId和name都是一致的,或者是一个机房下的.

多集群

部分大公司比如阿里腾讯以及具有相关业务需求的公司可能会去进行部署,一般存在线上集群或者是线下集群,再有钱一些的甚至会有南北半球备份,哪怕一边地震了,另外一边也能够提供服务,这也是所谓的异地多活策略.多集群一般也会配置跨集群搜索来突破集群规模所带来的性能瓶颈,比如某个集群你想要扩建到接近1000个节点的数量,但是集群节点一多,节点的上下线又会十分不稳定,那么此时就可以使用跨集群搜索来成为当下最优的解决方案.

目录
相关文章
|
运维 NoSQL 安全
【最佳实践】高可用mongodb集群(1分片+3副本):规划及部署
结合我们的生产需求,本次详细整理了最新版本 MonogoDB 7.0 集群的规划及部署过程,具有较大的参考价值,基本可照搬使用。 适应数据规模为T级的场景,由于设计了分片支撑,后续如有大数据量需求,可分片横向扩展。
1148 1
|
存储 Prometheus 监控
高可用prometheus集群方案选型分享
高可用prometheus集群方案选型分享
6172 2
高可用prometheus集群方案选型分享
|
16天前
|
存储 Prometheus 监控
构建高可用性ClickHouse集群:从理论到实践
【10月更文挑战第27天】在数据驱动的时代,构建一个稳定、高效的数据库系统对于企业的业务发展至关重要。作为一名数据工程师,我深知数据库系统的高可用性和可扩展性对于支撑企业应用的重要性。在这篇文章中,我将分享如何构建一个高可用性的ClickHouse集群,从分布式表的设计到数据复制与分片,再到故障恢复机制,确保系统在大规模数据处理中的稳定性和可靠性。
49 0
|
17天前
|
存储 监控 大数据
构建高可用性ClickHouse集群:从单节点到分布式
【10月更文挑战第26天】随着业务的不断增长,单一的数据存储解决方案可能无法满足日益增加的数据处理需求。在大数据时代,数据库的性能、可扩展性和稳定性成为企业关注的重点。ClickHouse 是一个用于联机分析处理(OLAP)的列式数据库管理系统(DBMS),以其卓越的查询性能和高吞吐量而闻名。本文将从我的个人角度出发,分享如何将单节点 ClickHouse 扩展为高可用性的分布式集群,以提升系统的稳定性和可靠性。
44 0
|
存储 缓存 固态存储
白话Elasticsearch63-生产集群部署之硬件配置、jvm以及集群规划建议
白话Elasticsearch63-生产集群部署之硬件配置、jvm以及集群规划建议
158 0
|
存储 运维
ES集群规划
ES集群规划
139 0
|
Cloud Native 容灾
《云原生时代下的分布式云多集群管理-容灾,弹性,多集群负载分布》电子版地址
云原生时代下的分布式云多集群管理-容灾,弹性,多集群负载分布
203 0
《云原生时代下的分布式云多集群管理-容灾,弹性,多集群负载分布》电子版地址
|
机器学习/深度学习 存储 弹性计算
ES架构设计:从单节点服务到百万节点 Elasticsearch 高可用集群系统架构设计
ES架构设计:从单节点服务到百万节点 Elasticsearch 高可用集群系统架构设计
|
存储 块存储
部署Ceph分布式高可用集群中篇(上)
部署Ceph分布式高可用集群中篇(上)
253 0
部署Ceph分布式高可用集群中篇(上)
|
网络协议 块存储
部署Ceph分布式高可用集群中篇(下)
部署Ceph分布式高可用集群中篇(下)
304 0
部署Ceph分布式高可用集群中篇(下)