带你读《Elastic Stack 实战手册》之82:——4.3.1.Elasticsearch 生产环境集群部署最佳实践(3)

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 带你读《Elastic Stack 实战手册》之82:——4.3.1.Elasticsearch 生产环境集群部署最佳实践(3)

《Elastic Stack 实战手册》——四、应用实践——4.3 性能优化场景——4.3.1.Elasticsearch 生产环境集群部署最佳实践(2) https://developer.aliyun.com/article/1225320spm=a2c6h.13148508.setting.15.47564f0eVi9cik


合理设置预警


对于依赖搜索的应用程序,用户体验与搜索请求的等待时间长短相关。

有许多因素会影响查询性能,例如:

· 构造查询方式不合理

· Elasticsearch 集群配置不合理

· JVM 内存和垃圾回收问题

·  磁盘 IO 等


查询延迟是直接影响用户体验的指标,因此请确保在其上放置一些预警操作。

举例:线上实战问题:


image.png


如何避免? 以下两个核心配置供参考:


PUT _cluster/settings
{ "transient": { "search.default_search_timeout": "50s", "search.allow_expensive_queries": false
}
}

需要强调的是:

"search.allow_expensive_queries" 是 7.7+ 版本才有的功能,早期版本会报错。

推荐阅读:

· https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-wildcard-qu

ery.html

· https://www.elastic.co/guide/en/elasticsearch/reference/current/search-your-data.html


合理配置缓存


默认情况下,Elasticsearch 中的大多数过滤器都是高速缓存的。


这意味着在第一次执行过滤查询时,Elasticsearch 将查找与过滤器匹配的文档,并使用该信息

构建名为“bitset”的结构。


存储在 bitset 中的数据包含文档标识符以及给定文档是否与过滤器匹配。


具有相同过滤器的查询的后续执行将重用存储在 bitset 中的信息,从而通过节省 IO 操作和

CPU 周期来加快查询的执行速度。


建议在查询中使用 filter 过滤器。


合理设置刷新频率


刷新频率(refresh_interval)和段合并频率与索引性能密切相关,此外,它们还会影响整个集

群的性能。


刷新频率需要根据业务需要合理设置,尤其频繁写入的业务场景。


启动慢查询日志


启用慢查询日志记录将有助于识别哪些查询慢,以及可以采取哪些措施来改进它们,这对于通

配符查询特别有用。


增大 ulimit 大小

增加 ulimit 大小以允许最大文件数,这属于非常常规的设置。

在 /etc/profile 下设置:

ulimit -n 65535

合理设置交互内存


当操作系统决定换出未使用的应用程序内存时,ElasticSearch 性能可能会受到影响。

通过 elasticsearch.yml 下配置:

bootstrap.mlockall: true

禁用通配符模糊匹配删除索引


禁止通过通配符查询删除所有索引。

为确保某人不会对所有索引(* 或 _all)发出 DELETE 操作,设置如下:


PUT /_cluster/settings
{ "persistent": { "action.destructive_requires_name": true
}
}

此时如果我们再使用通配符删除索引,举例执行如下操作:

DELETE join_*

会报错如下:


{ "error" : { "root_cause" : [
{ "type" : "illegal_argument_exception", "reason" : "Wildcard expressions or all indices are not allowed"
}
],"type" : "illegal_argument_exception", "reason" : "Wildcard expressions or all indices are not allowed"
},
"status" : 400
}

常用指标监视 API

集群健康状态 API

GET _cluster/health?pretty

索引信息 API

GET _cat/indices?pretty&v

节点状态 API


GET _nodes?pretty

主节点信息 API

GET _cat/master?pretty&v

分片分配、索引信息统计 API


GET _stats?pretty

节点状态信息统计 API

统计节点的 jvm,http,IO 统计信息。

GET _nodes/stats?pretty

大多数系统监视工具(如 Kibana、cerebro 等)都支持 Elasticsearch 的指标聚合。

建议使用此类工具持续监控集群状态信息。


小结

Elasticsearch 具有很好的默认配置以供新手快速上手、入门。但是,一旦到了线上业务实战环

境,就必须花费一些时间来调整设置以满足实际业务功能要求以及性能指标要求。

建议你参考本文建议并结合官方文档修改相关配置,以使得集群整体部署最优。

创作人简介:

铭毅天下,Elastic 认证工程师、Elastic 官方合作培训讲师、阿里云 MVP、CSDN 博客专家、

铭毅天下 Elasticsearch 公众号作者、死磕 Elasticsearch 知识星球星主。近 10 年工作经验,

关注 Elastic Stack 技术栈、大数据技术领域。

博客:https://elastic.blog.csdn.net/

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
27天前
|
存储 缓存 监控
深入解析:Elasticsearch集群性能调优策略与最佳实践
【10月更文挑战第8天】Elasticsearch 是一个分布式的、基于 RESTful 风格的搜索和数据分析引擎,它能够快速地存储、搜索和分析大量数据。随着企业对实时数据处理需求的增长,Elasticsearch 被广泛应用于日志分析、全文搜索、安全信息和事件管理(SIEM)等领域。然而,为了确保 Elasticsearch 集群能够高效运行并满足业务需求,需要进行一系列的性能调优工作。
54 3
|
4月前
|
存储 人工智能 自然语言处理
阿里云Elasticsearch AI场景语义搜索最佳实践
本文介绍了如何使用阿里云Elasticsearch结合搜索开发工作台搭建AI语义搜索。
17291 68
|
3月前
|
机器学习/深度学习 数据采集 缓存
Elasticsearch与机器学习集成的最佳实践
【8月更文第28天】Elasticsearch 提供了强大的搜索和分析能力,而机器学习则能够通过识别模式和预测趋势来增强这些能力。将两者结合可以实现更智能的搜索体验、异常检测等功能。
97 0
|
3月前
|
自然语言处理 负载均衡 安全
保姆级Elasticsearch集群部署指导
保姆级Elasticsearch集群部署指导
109 0
|
4月前
|
存储 监控 Java
使用Elasticsearch实现全文搜索的最佳实践
使用Elasticsearch实现全文搜索的最佳实践
|
4月前
|
存储 监控 Java
使用Elasticsearch实现全文搜索的最佳实践
使用Elasticsearch实现全文搜索的最佳实践
|
5月前
|
存储 Java API
在生产环境中部署Elasticsearch:最佳实践和故障排除技巧———索引与数据上传(二)
在生产环境中部署Elasticsearch:最佳实践和故障排除技巧———索引与数据上传(二)
|
28天前
|
存储 JSON Java
elasticsearch学习一:了解 ES,版本之间的对应。安装elasticsearch,kibana,head插件、elasticsearch-ik分词器。
这篇文章是关于Elasticsearch的学习指南,包括了解Elasticsearch、版本对应、安装运行Elasticsearch和Kibana、安装head插件和elasticsearch-ik分词器的步骤。
92 0
elasticsearch学习一:了解 ES,版本之间的对应。安装elasticsearch,kibana,head插件、elasticsearch-ik分词器。
|
2月前
|
NoSQL 关系型数据库 Redis
mall在linux环境下的部署(基于Docker容器),Docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongo
mall在linux环境下的部署(基于Docker容器),docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongodb、minio详细教程,拉取镜像、运行容器
mall在linux环境下的部署(基于Docker容器),Docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongo
|
3月前
|
数据可视化 Docker 容器
一文教会你如何通过Docker安装elasticsearch和kibana 【详细过程+图解】
这篇文章提供了通过Docker安装Elasticsearch和Kibana的详细过程和图解,包括下载镜像、创建和启动容器、处理可能遇到的启动失败情况(如权限不足和配置文件错误)、测试Elasticsearch和Kibana的连接,以及解决空间不足的问题。文章还特别指出了配置文件中空格的重要性以及环境变量中字母大小写的问题。
一文教会你如何通过Docker安装elasticsearch和kibana 【详细过程+图解】

相关产品

  • 检索分析服务 Elasticsearch版