带你读《Elastic Stack 实战手册》之82:——4.3.1.Elasticsearch 生产环境集群部署最佳实践(2)

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 带你读《Elastic Stack 实战手册》之82:——4.3.1.Elasticsearch 生产环境集群部署最佳实践(2)

《Elastic Stack 实战手册》——四、应用实践——4.3 性能优化场景——4.3.1.Elasticsearch 生产环境集群部署最佳实践(1) https://developer.aliyun.com/article/1225322?spm=a2c6h.13148508.setting.14.47564f0eVi9cik


节点角色划分


Elasticsearch 节点核心可分为三类:主节点、数据节点、协调节点。


主节点


主节点:如果主节点是仅是候选主节点,不含数据节点角色,则它配置要求没有那么高,因为

它不存储任何索引数据。


如前所述,如果分片非常多,建议主节点要提高硬件配置。


主节点职责:存储集群状态信息、分片分配管理等。


同时注意,Elasticsearch 应该有多个候选主节点,以避免脑裂问题。


数据节点


数据节点职责:CURD、搜索以及聚合相关的操作。


这些操作一般都是 IO、内存、CPU 密集型。


协调节点


协调节点职责:类似负载平衡器,主要工作是将搜索任务分发到相关的数据节点,并收集所有

结果,然后再将它们汇总并返回给客户端应用程序。


节点配置参考


下表参见官方博客 PPT:


image.png

不同节点角色配置如下


必须配置到:elasticsearch.yml 中。


· 主节点

node.master: true

node.data: false


· 数据节点

node.master: false

node.data: true


· 协调节点

node.master: false

node.data: false


故障排除提示


Elasticsearch 的性能在很大程度上取决于宿主机资源情况。CPU、内存使用率和磁盘 IO 是每

个 Elasticsearch 节点的基本指标。建议你在 CPU 使用率激增时查看 Java 虚拟机(JVM)指标。


堆内存使用率高

高堆内存使用率压力以两种方式影响集群性能:


堆内存压力上升到 75% 及更高

· 剩余可用内存更少,并且集群现在还需要花费一些 CPU 资源以通过垃圾回收来回收内存。

· 在启用垃圾收集时,这些 CPU 周期不可用于处理用户请求。结果,随着系统变得越来越受

资源约束,用户请求的响应时间增加。


堆内存压力继续上升并达到接近 100%


· 将使用更具侵略性的垃圾收集形式,这将反过来极大地影响集群响应时间。

· 索引响应时间度量标准表明,高堆内存压力会严重影响性能。


非堆内存使用率增长


JVM 外非堆内存的增长,吞噬了用于页面缓存的内存,并可能导致内核级 OOM。


监控磁盘 IO


由于 Elasticsearch 大量使用存储设备,磁盘 IO 的监视是所有其他优化的基础,发现磁盘 IO

问题并对相关业务操作做调整可以避免潜在的问题。

应根据引起磁盘 IO 的情况评估对策,常见优化磁盘 IO 实战策略如下:


· 优化分片数量及其大小

· 段合并策略优化

·  更换普通磁盘为 SSD 磁盘

· 添加更多节点



《Elastic Stack 实战手册》——四、应用实践——4.3 性能优化场景——4.3.1.Elasticsearch 生产环境集群部署最佳实践(3) https://developer.aliyun.com/article/1225319?spm=a2c6h.13148508.setting.16.47564f0eVi9cik



相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
3月前
|
存储 监控 搜索推荐
在生产环境中部署Elasticsearch:最佳实践和故障排除技巧——安装篇(一)
在生产环境中部署Elasticsearch:最佳实践和故障排除技巧——安装篇(一)
|
4天前
|
存储 监控 Java
视频 | Elasticsearch 8.X 企业内训之最佳实践10 讲
视频 | Elasticsearch 8.X 企业内训之最佳实践10 讲
17 0
|
4天前
|
API 数据安全/隐私保护 开发者
用 Python 优雅地玩转 Elasticsearch:实用技巧与最佳实践
用 Python 优雅地玩转 Elasticsearch:实用技巧与最佳实践
19 6
|
3月前
|
缓存 Java API
在生产环境中部署Elasticsearch:最佳实践和故障排除技巧——聚合与搜索(三)
在生产环境中部署Elasticsearch:最佳实践和故障排除技巧——聚合与搜索(三)
|
3月前
|
存储 Java API
在生产环境中部署Elasticsearch:最佳实践和故障排除技巧———索引与数据上传(二)
在生产环境中部署Elasticsearch:最佳实践和故障排除技巧———索引与数据上传(二)
|
12月前
|
缓存 自然语言处理 安全
白话Elasticsearch67-不随意调节jvm和thread pool的原因&jvm和服务器内存分配的最佳实践
白话Elasticsearch67-不随意调节jvm和thread pool的原因&jvm和服务器内存分配的最佳实践
121 0
|
12月前
|
数据采集 数据可视化 搜索推荐
带你读《Elastic Stack 实战手册》之3:——3.1.1.从 Elasticsearch 到 Elastic Stack(上)
带你读《Elastic Stack 实战手册》之3:——3.1.1.从 Elasticsearch 到 Elastic Stack(上)
212 0
|
12月前
|
存储 安全 数据可视化
带你读《Elastic Stack 实战手册》之3:——3.1.1.从 Elasticsearch 到 Elastic Stack(中)
带你读《Elastic Stack 实战手册》之3:——3.1.1.从 Elasticsearch 到 Elastic Stack(中)
150 0
|
12月前
|
测试技术 Apache
带你读《Elastic Stack 实战手册》之3:——3.1.1.从 Elasticsearch 到 Elastic Stack(下)
带你读《Elastic Stack 实战手册》之3:——3.1.1.从 Elasticsearch 到 Elastic Stack(下)
148 0
|
12月前
|
存储 缓存 Ubuntu
带你读《Elastic Stack 实战手册》之8:—— 3.4.1.1.安装Elasticsearch(本地及docker)(1)
带你读《Elastic Stack 实战手册》之8:—— 3.4.1.1.安装Elasticsearch(本地及docker)(1)
166 0

相关产品

  • 检索分析服务 Elasticsearch版