《Elastic Stack 实战手册》——四、应用实践——4.3 性能优化场景——4.3.1.Elasticsearch 生产环境集群部署最佳实践(2) https://developer.aliyun.com/article/1225320spm=a2c6h.13148508.setting.15.47564f0eVi9cik
合理设置预警
对于依赖搜索的应用程序,用户体验与搜索请求的等待时间长短相关。
有许多因素会影响查询性能,例如:
· 构造查询方式不合理
· Elasticsearch 集群配置不合理
· JVM 内存和垃圾回收问题
· 磁盘 IO 等
查询延迟是直接影响用户体验的指标,因此请确保在其上放置一些预警操作。
举例:线上实战问题:
如何避免? 以下两个核心配置供参考:
PUT _cluster/settings { "transient": { "search.default_search_timeout": "50s", "search.allow_expensive_queries": false } }
需要强调的是:
"search.allow_expensive_queries" 是 7.7+ 版本才有的功能,早期版本会报错。
推荐阅读:
· https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-wildcard-qu
ery.html
· https://www.elastic.co/guide/en/elasticsearch/reference/current/search-your-data.html
合理配置缓存
默认情况下,Elasticsearch 中的大多数过滤器都是高速缓存的。
这意味着在第一次执行过滤查询时,Elasticsearch 将查找与过滤器匹配的文档,并使用该信息
构建名为“bitset”的结构。
存储在 bitset 中的数据包含文档标识符以及给定文档是否与过滤器匹配。
具有相同过滤器的查询的后续执行将重用存储在 bitset 中的信息,从而通过节省 IO 操作和
CPU 周期来加快查询的执行速度。
建议在查询中使用 filter 过滤器。
合理设置刷新频率
刷新频率(refresh_interval)和段合并频率与索引性能密切相关,此外,它们还会影响整个集
群的性能。
刷新频率需要根据业务需要合理设置,尤其频繁写入的业务场景。
启动慢查询日志
启用慢查询日志记录将有助于识别哪些查询慢,以及可以采取哪些措施来改进它们,这对于通
配符查询特别有用。
增大 ulimit 大小
增加 ulimit 大小以允许最大文件数,这属于非常常规的设置。
在 /etc/profile 下设置:
ulimit -n 65535
合理设置交互内存
当操作系统决定换出未使用的应用程序内存时,ElasticSearch 性能可能会受到影响。
通过 elasticsearch.yml 下配置:
bootstrap.mlockall: true
禁用通配符模糊匹配删除索引
禁止通过通配符查询删除所有索引。
为确保某人不会对所有索引(* 或 _all)发出 DELETE 操作,设置如下:
PUT /_cluster/settings { "persistent": { "action.destructive_requires_name": true } }
此时如果我们再使用通配符删除索引,举例执行如下操作:
DELETE join_*
会报错如下:
{ "error" : { "root_cause" : [ { "type" : "illegal_argument_exception", "reason" : "Wildcard expressions or all indices are not allowed" } ],"type" : "illegal_argument_exception", "reason" : "Wildcard expressions or all indices are not allowed" }, "status" : 400 }
常用指标监视 API
集群健康状态 API
GET _cluster/health?pretty
索引信息 API
GET _cat/indices?pretty&v
节点状态 API
GET _nodes?pretty
主节点信息 API
GET _cat/master?pretty&v
分片分配、索引信息统计 API
GET _stats?pretty
节点状态信息统计 API
统计节点的 jvm,http,IO 统计信息。
GET _nodes/stats?pretty
大多数系统监视工具(如 Kibana、cerebro 等)都支持 Elasticsearch 的指标聚合。
建议使用此类工具持续监控集群状态信息。
小结
Elasticsearch 具有很好的默认配置以供新手快速上手、入门。但是,一旦到了线上业务实战环
境,就必须花费一些时间来调整设置以满足实际业务功能要求以及性能指标要求。
建议你参考本文建议并结合官方文档修改相关配置,以使得集群整体部署最优。
创作人简介:
铭毅天下,Elastic 认证工程师、Elastic 官方合作培训讲师、阿里云 MVP、CSDN 博客专家、
铭毅天下 Elasticsearch 公众号作者、死磕 Elasticsearch 知识星球星主。近 10 年工作经验,
关注 Elastic Stack 技术栈、大数据技术领域。