带你读《Elastic Stack 实战手册》之82:——4.3.1.Elasticsearch 生产环境集群部署最佳实践(2)

本文涉及的产品
Elasticsearch Serverless通用抵扣包,测试体验金 200元
简介: 带你读《Elastic Stack 实战手册》之82:——4.3.1.Elasticsearch 生产环境集群部署最佳实践(2)

《Elastic Stack 实战手册》——四、应用实践——4.3 性能优化场景——4.3.1.Elasticsearch 生产环境集群部署最佳实践(1) https://developer.aliyun.com/article/1225322?spm=a2c6h.13148508.setting.14.47564f0eVi9cik


节点角色划分


Elasticsearch 节点核心可分为三类:主节点、数据节点、协调节点。


主节点


主节点:如果主节点是仅是候选主节点,不含数据节点角色,则它配置要求没有那么高,因为

它不存储任何索引数据。


如前所述,如果分片非常多,建议主节点要提高硬件配置。


主节点职责:存储集群状态信息、分片分配管理等。


同时注意,Elasticsearch 应该有多个候选主节点,以避免脑裂问题。


数据节点


数据节点职责:CURD、搜索以及聚合相关的操作。


这些操作一般都是 IO、内存、CPU 密集型。


协调节点


协调节点职责:类似负载平衡器,主要工作是将搜索任务分发到相关的数据节点,并收集所有

结果,然后再将它们汇总并返回给客户端应用程序。


节点配置参考


下表参见官方博客 PPT:


image.png

不同节点角色配置如下


必须配置到:elasticsearch.yml 中。


· 主节点

node.master: true

node.data: false


· 数据节点

node.master: false

node.data: true


· 协调节点

node.master: false

node.data: false


故障排除提示


Elasticsearch 的性能在很大程度上取决于宿主机资源情况。CPU、内存使用率和磁盘 IO 是每

个 Elasticsearch 节点的基本指标。建议你在 CPU 使用率激增时查看 Java 虚拟机(JVM)指标。


堆内存使用率高

高堆内存使用率压力以两种方式影响集群性能:


堆内存压力上升到 75% 及更高

· 剩余可用内存更少,并且集群现在还需要花费一些 CPU 资源以通过垃圾回收来回收内存。

· 在启用垃圾收集时,这些 CPU 周期不可用于处理用户请求。结果,随着系统变得越来越受

资源约束,用户请求的响应时间增加。


堆内存压力继续上升并达到接近 100%


· 将使用更具侵略性的垃圾收集形式,这将反过来极大地影响集群响应时间。

· 索引响应时间度量标准表明,高堆内存压力会严重影响性能。


非堆内存使用率增长


JVM 外非堆内存的增长,吞噬了用于页面缓存的内存,并可能导致内核级 OOM。


监控磁盘 IO


由于 Elasticsearch 大量使用存储设备,磁盘 IO 的监视是所有其他优化的基础,发现磁盘 IO

问题并对相关业务操作做调整可以避免潜在的问题。

应根据引起磁盘 IO 的情况评估对策,常见优化磁盘 IO 实战策略如下:


· 优化分片数量及其大小

· 段合并策略优化

·  更换普通磁盘为 SSD 磁盘

· 添加更多节点



《Elastic Stack 实战手册》——四、应用实践——4.3 性能优化场景——4.3.1.Elasticsearch 生产环境集群部署最佳实践(3) https://developer.aliyun.com/article/1225319?spm=a2c6h.13148508.setting.16.47564f0eVi9cik



相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
存储 人工智能 自然语言处理
阿里云Elasticsearch AI场景语义搜索最佳实践
本文介绍了如何使用阿里云Elasticsearch结合搜索开发工作台搭建AI语义搜索。
17723 68
|
12月前
|
存储 缓存 监控
深入解析:Elasticsearch集群性能调优策略与最佳实践
【10月更文挑战第8天】Elasticsearch 是一个分布式的、基于 RESTful 风格的搜索和数据分析引擎,它能够快速地存储、搜索和分析大量数据。随着企业对实时数据处理需求的增长,Elasticsearch 被广泛应用于日志分析、全文搜索、安全信息和事件管理(SIEM)等领域。然而,为了确保 Elasticsearch 集群能够高效运行并满足业务需求,需要进行一系列的性能调优工作。
687 3
|
自然语言处理 负载均衡 安全
保姆级Elasticsearch集群部署指导
保姆级Elasticsearch集群部署指导
657 0
|
存储 监控 Java
使用Elasticsearch实现全文搜索的最佳实践
使用Elasticsearch实现全文搜索的最佳实践
|
机器学习/深度学习 数据采集 缓存
Elasticsearch与机器学习集成的最佳实践
【8月更文第28天】Elasticsearch 提供了强大的搜索和分析能力,而机器学习则能够通过识别模式和预测趋势来增强这些能力。将两者结合可以实现更智能的搜索体验、异常检测等功能。
316 0
|
存储 监控 Java
使用Elasticsearch实现全文搜索的最佳实践
使用Elasticsearch实现全文搜索的最佳实践
|
存储 Java API
在生产环境中部署Elasticsearch:最佳实践和故障排除技巧———索引与数据上传(二)
在生产环境中部署Elasticsearch:最佳实践和故障排除技巧———索引与数据上传(二)
|
5月前
|
JSON 安全 数据可视化
Elasticsearch(es)在Windows系统上的安装与部署(含Kibana)
Kibana 是 Elastic Stack(原 ELK Stack)中的核心数据可视化工具,主要与 Elasticsearch 配合使用,提供强大的数据探索、分析和展示功能。elasticsearch安装在windows上一般是zip文件,解压到对应目录。文件,elasticsearch8.x以上版本是自动开启安全认证的。kibana安装在windows上一般是zip文件,解压到对应目录。elasticsearch的默认端口是9200,访问。默认用户是elastic,密码需要重置。
2085 0
|
6月前
|
安全 Java Linux
Linux安装Elasticsearch详细教程
Linux安装Elasticsearch详细教程
882 1
|
11月前
|
存储 安全 数据管理
如何在 Rocky Linux 8 上安装和配置 Elasticsearch
本文详细介绍了在 Rocky Linux 8 上安装和配置 Elasticsearch 的步骤,包括添加仓库、安装 Elasticsearch、配置文件修改、设置内存和文件描述符、启动和验证 Elasticsearch,以及常见问题的解决方法。通过这些步骤,你可以快速搭建起这个强大的分布式搜索和分析引擎。
403 5

相关产品

  • 检索分析服务 Elasticsearch版