带你读《Elastic Stack 实战手册》之82:——4.3.1.Elasticsearch 生产环境集群部署最佳实践(2)

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 带你读《Elastic Stack 实战手册》之82:——4.3.1.Elasticsearch 生产环境集群部署最佳实践(2)

《Elastic Stack 实战手册》——四、应用实践——4.3 性能优化场景——4.3.1.Elasticsearch 生产环境集群部署最佳实践(1) https://developer.aliyun.com/article/1225322?spm=a2c6h.13148508.setting.14.47564f0eVi9cik


节点角色划分


Elasticsearch 节点核心可分为三类:主节点、数据节点、协调节点。


主节点


主节点:如果主节点是仅是候选主节点,不含数据节点角色,则它配置要求没有那么高,因为

它不存储任何索引数据。


如前所述,如果分片非常多,建议主节点要提高硬件配置。


主节点职责:存储集群状态信息、分片分配管理等。


同时注意,Elasticsearch 应该有多个候选主节点,以避免脑裂问题。


数据节点


数据节点职责:CURD、搜索以及聚合相关的操作。


这些操作一般都是 IO、内存、CPU 密集型。


协调节点


协调节点职责:类似负载平衡器,主要工作是将搜索任务分发到相关的数据节点,并收集所有

结果,然后再将它们汇总并返回给客户端应用程序。


节点配置参考


下表参见官方博客 PPT:


image.png

不同节点角色配置如下


必须配置到:elasticsearch.yml 中。


· 主节点

node.master: true

node.data: false


· 数据节点

node.master: false

node.data: true


· 协调节点

node.master: false

node.data: false


故障排除提示


Elasticsearch 的性能在很大程度上取决于宿主机资源情况。CPU、内存使用率和磁盘 IO 是每

个 Elasticsearch 节点的基本指标。建议你在 CPU 使用率激增时查看 Java 虚拟机(JVM)指标。


堆内存使用率高

高堆内存使用率压力以两种方式影响集群性能:


堆内存压力上升到 75% 及更高

· 剩余可用内存更少,并且集群现在还需要花费一些 CPU 资源以通过垃圾回收来回收内存。

· 在启用垃圾收集时,这些 CPU 周期不可用于处理用户请求。结果,随着系统变得越来越受

资源约束,用户请求的响应时间增加。


堆内存压力继续上升并达到接近 100%


· 将使用更具侵略性的垃圾收集形式,这将反过来极大地影响集群响应时间。

· 索引响应时间度量标准表明,高堆内存压力会严重影响性能。


非堆内存使用率增长


JVM 外非堆内存的增长,吞噬了用于页面缓存的内存,并可能导致内核级 OOM。


监控磁盘 IO


由于 Elasticsearch 大量使用存储设备,磁盘 IO 的监视是所有其他优化的基础,发现磁盘 IO

问题并对相关业务操作做调整可以避免潜在的问题。

应根据引起磁盘 IO 的情况评估对策,常见优化磁盘 IO 实战策略如下:


· 优化分片数量及其大小

· 段合并策略优化

·  更换普通磁盘为 SSD 磁盘

· 添加更多节点



《Elastic Stack 实战手册》——四、应用实践——4.3 性能优化场景——4.3.1.Elasticsearch 生产环境集群部署最佳实践(3) https://developer.aliyun.com/article/1225319?spm=a2c6h.13148508.setting.16.47564f0eVi9cik



相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
2月前
|
存储 监控 搜索推荐
在生产环境中部署Elasticsearch:最佳实践和故障排除技巧——安装篇(一)
在生产环境中部署Elasticsearch:最佳实践和故障排除技巧——安装篇(一)
|
2月前
|
缓存 Java API
在生产环境中部署Elasticsearch:最佳实践和故障排除技巧——聚合与搜索(三)
在生产环境中部署Elasticsearch:最佳实践和故障排除技巧——聚合与搜索(三)
|
2月前
|
存储 Java API
在生产环境中部署Elasticsearch:最佳实践和故障排除技巧———索引与数据上传(二)
在生产环境中部署Elasticsearch:最佳实践和故障排除技巧———索引与数据上传(二)
|
11月前
|
缓存 自然语言处理 安全
白话Elasticsearch67-不随意调节jvm和thread pool的原因&jvm和服务器内存分配的最佳实践
白话Elasticsearch67-不随意调节jvm和thread pool的原因&jvm和服务器内存分配的最佳实践
119 0
|
11月前
|
存储 缓存 固态存储
带你读《Elastic Stack 实战手册》之82:——4.3.1.Elasticsearch 生产环境集群部署最佳实践(1)
带你读《Elastic Stack 实战手册》之82:——4.3.1.Elasticsearch 生产环境集群部署最佳实践(1)
110 0
|
11月前
|
存储 缓存 监控
带你读《Elastic Stack 实战手册》之82:——4.3.1.Elasticsearch 生产环境集群部署最佳实践(3)
带你读《Elastic Stack 实战手册》之82:——4.3.1.Elasticsearch 生产环境集群部署最佳实践(3)
132 0
|
11月前
|
存储 缓存 自然语言处理
带你读《Elastic Stack 实战手册》之83:——4.3.2.Elasticsearch 开发人员最佳实践指南(1)
带你读《Elastic Stack 实战手册》之83:——4.3.2.Elasticsearch 开发人员最佳实践指南(1)
104 0
|
11月前
|
消息中间件 缓存 JSON
带你读《Elastic Stack 实战手册》之83:——4.3.2.Elasticsearch 开发人员最佳实践指南(2)
带你读《Elastic Stack 实战手册》之83:——4.3.2.Elasticsearch 开发人员最佳实践指南(2)
113 0
|
11月前
|
监控 Java 大数据
带你读《Elastic Stack 实战手册》之83:——4.3.2.Elasticsearch 开发人员最佳实践指南(4)
带你读《Elastic Stack 实战手册》之83:——4.3.2.Elasticsearch 开发人员最佳实践指南(4)
|
存储 消息中间件 运维
Elasticsearch 结合大数据产品最佳实践
本文整理自阿里云解决方案架构师闫勖勉(三秋)在 阿里云Elasticsearch 自研引擎年度发布 的演讲。
1259 0
Elasticsearch 结合大数据产品最佳实践

相关产品

  • 检索分析服务 Elasticsearch版