ES高可用集群规模实战介绍

简介: ES高可用集群规模实战介绍

简介

集群是由多台服务器组成的,他们是横向扩展的代名词,而ES集群无非就是使用ES搭建的集群类型.但是实际上里面有很多门路,包括他的一个集群的最优配比,在本文中你可以了解到ES集群的几种类型,包括在实战中该怎么去应用和配置他们.


首先本文会按照集群的规模由小到大来进行介绍.

单集群

单节点集群

由一个节点组成的集群,也被称为单机,一般都是用于测试或者学习的环境,少部分公司尝试新技术或者规模体量不大的情况下会用于生产环境,但是不建议单机用于生产,不满足高可用的情况.

两节点集群

一般为2个全角色节点组成的集群,不满足高可用的场景,因为投票至少满足一半以上,目前只有2台机器,如果宕机一台那么也会不满足高可用.

三节点集群

高可用HA的最低配置,假设你有3节点的机器,那么你也就满足了所谓的高可用,3台里宕机一台,仍然至少有一半以上的机器可以使用,并且拥有投票权,如果只有3台节点,建议不需要设置纯master节点,可以设置Master和Data的混合节点,或者默认全角色节点,因为3个节点没有管理的必要性.

多节点集群

大于3个节点的集群,但是建议把Master候选数量固定设置为3个,并且最大的节点数量也不要超过100个节点,虽然可以设置100个节点以上,但是他们通信的时间会大幅增长.其中这里有一个优化的点,我们可以把3个中的一个设置为仅投票节点,他并没有所谓的被选举权,只拥有选举权,在满足高可用的情况下又能提高数据处理的性能,因为只要他能投票,无论是宕机了任意一个master节点,都不会对选举产生影响,也不会造成脑裂现象的发生.

多集群

单集群

一片区域内ES的集群我们可以称为单集群,他们的clusterId和name都是一致的,或者是一个机房下的.

多集群

部分大公司比如阿里腾讯以及具有相关业务需求的公司可能会去进行部署,一般存在线上集群或者是线下集群,再有钱一些的甚至会有南北半球备份,哪怕一边地震了,另外一边也能够提供服务,这也是所谓的异地多活策略.多集群一般也会配置跨集群搜索来突破集群规模所带来的性能瓶颈,比如某个集群你想要扩建到接近1000个节点的数量,但是集群节点一多,节点的上下线又会十分不稳定,那么此时就可以使用跨集群搜索来成为当下最优的解决方案.

目录
相关文章
|
7月前
|
运维 NoSQL 安全
【最佳实践】高可用mongodb集群(1分片+3副本):规划及部署
结合我们的生产需求,本次详细整理了最新版本 MonogoDB 7.0 集群的规划及部署过程,具有较大的参考价值,基本可照搬使用。 适应数据规模为T级的场景,由于设计了分片支撑,后续如有大数据量需求,可分片横向扩展。
508 1
|
机器学习/深度学习 Kubernetes 网络协议
K8s单机架构部署
这是我做了很多遍,参考很多文章得到的,为了便于大家参考和学习,我已经把每一步都整理出来了,步骤和提示都很清晰。 后续文档有什么问题那个地方写错了,大家都可以提出来。
1166 0
K8s单机架构部署
|
存储 Prometheus 监控
高可用prometheus集群方案选型分享
高可用prometheus集群方案选型分享
5346 2
高可用prometheus集群方案选型分享
|
存储 运维
ES集群规划
ES集群规划
114 0
|
机器学习/深度学习 存储 弹性计算
ES架构设计:从单节点服务到百万节点 Elasticsearch 高可用集群系统架构设计
ES架构设计:从单节点服务到百万节点 Elasticsearch 高可用集群系统架构设计
|
消息中间件 运维 Kubernetes
Sentry(v20.12.1) K8S云原生架构探索,玩转前/后端监控与事件日志大数据分析,高性能高可用+可扩展可伸缩集群部署
Sentry(v20.12.1) K8S云原生架构探索,玩转前/后端监控与事件日志大数据分析,高性能高可用+可扩展可伸缩集群部署
881 0
Sentry(v20.12.1) K8S云原生架构探索,玩转前/后端监控与事件日志大数据分析,高性能高可用+可扩展可伸缩集群部署
|
存储 块存储
部署Ceph分布式高可用集群中篇(上)
部署Ceph分布式高可用集群中篇(上)
211 0
部署Ceph分布式高可用集群中篇(上)
部署Ceph分布式高可用集群中篇(中)
部署Ceph分布式高可用集群中篇(中)
148 0
部署Ceph分布式高可用集群中篇(中)
|
网络协议 块存储
部署Ceph分布式高可用集群中篇(下)
部署Ceph分布式高可用集群中篇(下)
255 0
部署Ceph分布式高可用集群中篇(下)
|
存储 机器学习/深度学习 JSON
探究 | Elasticsearch集群规模和容量规划的底层逻辑
实战中经常遇到的问题: 问题 1:请问下大家是如何评估集群的规模?比如数据量达到百万,千万,亿万,分别需要什么级别的集群,这要怎么评估? ps:自己搭建的测试环境很难达到这一级别。
579 1
探究 | Elasticsearch集群规模和容量规划的底层逻辑