带你读《Elastic Stack 实战手册》之82:——4.3.1.Elasticsearch 生产环境集群部署最佳实践(2)

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 带你读《Elastic Stack 实战手册》之82:——4.3.1.Elasticsearch 生产环境集群部署最佳实践(2)

《Elastic Stack 实战手册》——四、应用实践——4.3 性能优化场景——4.3.1.Elasticsearch 生产环境集群部署最佳实践(1) https://developer.aliyun.com/article/1225322?spm=a2c6h.13148508.setting.14.47564f0eVi9cik


节点角色划分


Elasticsearch 节点核心可分为三类:主节点、数据节点、协调节点。


主节点


主节点:如果主节点是仅是候选主节点,不含数据节点角色,则它配置要求没有那么高,因为

它不存储任何索引数据。


如前所述,如果分片非常多,建议主节点要提高硬件配置。


主节点职责:存储集群状态信息、分片分配管理等。


同时注意,Elasticsearch 应该有多个候选主节点,以避免脑裂问题。


数据节点


数据节点职责:CURD、搜索以及聚合相关的操作。


这些操作一般都是 IO、内存、CPU 密集型。


协调节点


协调节点职责:类似负载平衡器,主要工作是将搜索任务分发到相关的数据节点,并收集所有

结果,然后再将它们汇总并返回给客户端应用程序。


节点配置参考


下表参见官方博客 PPT:


image.png

不同节点角色配置如下


必须配置到:elasticsearch.yml 中。


· 主节点

node.master: true

node.data: false


· 数据节点

node.master: false

node.data: true


· 协调节点

node.master: false

node.data: false


故障排除提示


Elasticsearch 的性能在很大程度上取决于宿主机资源情况。CPU、内存使用率和磁盘 IO 是每

个 Elasticsearch 节点的基本指标。建议你在 CPU 使用率激增时查看 Java 虚拟机(JVM)指标。


堆内存使用率高

高堆内存使用率压力以两种方式影响集群性能:


堆内存压力上升到 75% 及更高

· 剩余可用内存更少,并且集群现在还需要花费一些 CPU 资源以通过垃圾回收来回收内存。

· 在启用垃圾收集时,这些 CPU 周期不可用于处理用户请求。结果,随着系统变得越来越受

资源约束,用户请求的响应时间增加。


堆内存压力继续上升并达到接近 100%


· 将使用更具侵略性的垃圾收集形式,这将反过来极大地影响集群响应时间。

· 索引响应时间度量标准表明,高堆内存压力会严重影响性能。


非堆内存使用率增长


JVM 外非堆内存的增长,吞噬了用于页面缓存的内存,并可能导致内核级 OOM。


监控磁盘 IO


由于 Elasticsearch 大量使用存储设备,磁盘 IO 的监视是所有其他优化的基础,发现磁盘 IO

问题并对相关业务操作做调整可以避免潜在的问题。

应根据引起磁盘 IO 的情况评估对策,常见优化磁盘 IO 实战策略如下:


· 优化分片数量及其大小

· 段合并策略优化

·  更换普通磁盘为 SSD 磁盘

· 添加更多节点



《Elastic Stack 实战手册》——四、应用实践——4.3 性能优化场景——4.3.1.Elasticsearch 生产环境集群部署最佳实践(3) https://developer.aliyun.com/article/1225319?spm=a2c6h.13148508.setting.16.47564f0eVi9cik



相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
2月前
|
存储 缓存 监控
深入解析:Elasticsearch集群性能调优策略与最佳实践
【10月更文挑战第8天】Elasticsearch 是一个分布式的、基于 RESTful 风格的搜索和数据分析引擎,它能够快速地存储、搜索和分析大量数据。随着企业对实时数据处理需求的增长,Elasticsearch 被广泛应用于日志分析、全文搜索、安全信息和事件管理(SIEM)等领域。然而,为了确保 Elasticsearch 集群能够高效运行并满足业务需求,需要进行一系列的性能调优工作。
105 3
|
5月前
|
存储 人工智能 自然语言处理
阿里云Elasticsearch AI场景语义搜索最佳实践
本文介绍了如何使用阿里云Elasticsearch结合搜索开发工作台搭建AI语义搜索。
17302 68
|
4月前
|
机器学习/深度学习 数据采集 缓存
Elasticsearch与机器学习集成的最佳实践
【8月更文第28天】Elasticsearch 提供了强大的搜索和分析能力,而机器学习则能够通过识别模式和预测趋势来增强这些能力。将两者结合可以实现更智能的搜索体验、异常检测等功能。
111 0
|
4月前
|
自然语言处理 负载均衡 安全
保姆级Elasticsearch集群部署指导
保姆级Elasticsearch集群部署指导
125 0
|
5月前
|
存储 监控 Java
使用Elasticsearch实现全文搜索的最佳实践
使用Elasticsearch实现全文搜索的最佳实践
|
5月前
|
存储 监控 Java
使用Elasticsearch实现全文搜索的最佳实践
使用Elasticsearch实现全文搜索的最佳实践
|
6月前
|
存储 Java API
在生产环境中部署Elasticsearch:最佳实践和故障排除技巧———索引与数据上传(二)
在生产环境中部署Elasticsearch:最佳实践和故障排除技巧———索引与数据上传(二)
|
19天前
|
存储 安全 数据管理
如何在 Rocky Linux 8 上安装和配置 Elasticsearch
本文详细介绍了在 Rocky Linux 8 上安装和配置 Elasticsearch 的步骤,包括添加仓库、安装 Elasticsearch、配置文件修改、设置内存和文件描述符、启动和验证 Elasticsearch,以及常见问题的解决方法。通过这些步骤,你可以快速搭建起这个强大的分布式搜索和分析引擎。
34 5
|
2月前
|
存储 JSON Java
elasticsearch学习一:了解 ES,版本之间的对应。安装elasticsearch,kibana,head插件、elasticsearch-ik分词器。
这篇文章是关于Elasticsearch的学习指南,包括了解Elasticsearch、版本对应、安装运行Elasticsearch和Kibana、安装head插件和elasticsearch-ik分词器的步骤。
147 0
elasticsearch学习一:了解 ES,版本之间的对应。安装elasticsearch,kibana,head插件、elasticsearch-ik分词器。
|
3月前
|
NoSQL 关系型数据库 Redis
mall在linux环境下的部署(基于Docker容器),Docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongo
mall在linux环境下的部署(基于Docker容器),docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongodb、minio详细教程,拉取镜像、运行容器
mall在linux环境下的部署(基于Docker容器),Docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongo

相关产品

  • 检索分析服务 Elasticsearch版