【技术分享】《深入理解Elasticsearch》读书笔记

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: Elasticsearch广泛应用于全文检索和实时日志分析场景。为了帮助开发者更好的理解和应用Elasticsearch和ELK相关技术,小编将甄选一系列技术干货分享给大家。本文作者在Elastisearch系统搭建和应用领域有深入的实践经验,现转载作者《深入理解Elasticsearch》读书笔记,梳理Elasticsearch使用过程中的一些技术难点。

题记

由于之前已经梳理过Elasticsearch基础概念且在项目中实战过Elasticsearch的增删改查、聚类、排序等相关操作,对Elasticsearch算是有了一定的认知。但是,仍然对于一些底层的原理认知模糊,特买来《深入理解Elasticsearch》过了一遍,第一章到第四章偏应用,跟着敲一遍代码基本就能理解原理,第五章到第九章偏理论。现将书中一些细节知识点结合官网文档梳理如下。

第五章 分布式索引架构

如何选择合适的分片和副本数?

  • 目的:规划索引及配置,适应应用的变化。
  • 正确认知:分片数索引创建后不可以修改,副本数索引创建后可以通过API随时修改。
  • 多副本的缺点:额外副本占据了额外的存储空间,构建索引副本的开销也随之增大。
  • 同时要注意:如果不创建副本,当主分片发生问题时,可能会造成数据的丢失。
  • 配置参考:最理想的分片数量应该依赖于节点的数量。
  • 参考公式:所需的最大节点数 = 分片数 *(副本数+1)
    举例:你计划5个分片和1个副本,那么所需要的最大的节点数为:5*(1+1)=10个节点。

可不可以基于时间构建索引?

  • 目的:选择感兴趣的索引上进行查询,历史索引(时间比较久)的定期删除。
  • 正确操作方法:通过名称为logs_2017_01, logs_2017_02,…..logs_2017_12来构建索引。

第六章 底层索引控制

什么是段?

Elasticsearch中的每个分片包含多个segment(段),每一个segment都是一个倒排索引;在查询的时,会把所有的segment查询结果汇总归并为最终的分片查询结果返回。

在创建索引的时候,ES会把文档信息写到内存bugffer中(为了安全,也一起写到translog),定时(可配置)把数据写到segment缓存小文件中,然后刷新查询,使刚写入的segment可查。

虽然写入的segment可查询,但是还没有持久化到磁盘上。因此,还是会存在丢失的可能性的。所以,ES会执行flush操作,把segment持久化到磁盘上并清除translog的数据(因为这个时候,数据已经写到磁盘上,不再需要了)。
参考链接

什么是段合并?

由于自动刷新流程每秒会创建一个新的段,这样会导致短时间内的段数量暴增。而段数目太多会带来较大的麻烦。

  • 消耗资源:每一个段都会消耗文件句柄、内存和cpu运行周期;
  • 搜索变慢:每个搜索请求都必须轮流检查每个段,所以段越多,搜索也就越慢。

ES通过在后台进行段合并来解决这个问题。小的段被合并到大的段,然后这些大的段再被合并到更大的段。

段合并做了什么?

段合并的时候会将那些旧的已删除文档从文件系统中清除。

被删除的文档(或被更新文档的旧版本)不会被拷贝到新的大段中。

启动段合并不需要你做任何事。进行索引和搜索时会自动进行。

  • 当索引的时候,刷新(refresh)操作会创建新的段并将段打开以供搜索使用。
  • 合并进程选择一小部分大小相似的段,并且在后台将它们合并到更大的段中。这并不会中断索引和搜索。

为什么要进行段合并?

  • 索引段的个数越多,搜索性能越低并且消耗更多的内存;
  • 索引段是不可变的,你并不能物理上从中删除信息。(可以物理上删除document,但只是做了删除标记,物理上并没有删除)
  • 当段合并时,这些被标记为删除的文档并没有被拷贝至新的索引段中,这样,减少了最终的索引段中的document数目。

段合并的好处是什么?

  • 减少索引段的数量并提高检索速度;
  • 减少索引的容量(文档数)——段合并会移除被标记为已删除的那些文档。

段合并可能带来的问题?

  • 磁盘IO操作的代价;
  • 速度慢的系统中,段合并会显著影响性能。

第七章 管理Elasticsearch

有了副本机制为什么还需要集群备份?

Elasticsearch 副本提供了高可靠性;它们让你可以容忍零星的节点丢失而不会中断服务。

但是,副本并不提供对灾难性故障的保护。对这种情况,你需要的是对集群真正的备份——在某些东西确实出问题的时候有一个完整的拷贝。

集群如何备份?

使用 snapshot API备份你的集群。

它会拿到你集群里当前的状态和数据然后保存到一个共享仓库里。这个备份过程是”智能”的。
ES5.6集群备份官网参考

集群备份分类?

完整备份——你的第一个快照会是一个数据的完整拷贝。

增量备份——所有后续的快照会保留的是已存快照和新数据之间的差异。随着你不时的对数据进行快照,备份也在增量的添加和删除。这意味着后续备份会相当快速,因为它们只传输很小的数据量。

集群可以备份到哪里?

要使用这个功能,你必须首先创建一个保存数据的仓库。有多个仓库类型可以供你选择:

  • 共享文件系统,比如 NAS
  • HDFS (Hadoop集群分布式文件系统)

备份如何操作API?

PUT _snapshot/my_backup
{

"type": "fs",
"settings": {
    "location": "/mount/backups/my_backup"
}

}

注意:共享文件系统路径必须确保集群所有节点都可以访问到。

##第八章 提高性能

>####什么情况下会出现堆内存泄漏?

>>如果没有足够的堆内存来供你的应用在堆上创建新对象,JVM会抛出一个OutOfMemeory异常,这是一个内存出了问题的迹象,要么是没有足够的内存给它,要么是有内存泄漏,导致没有释放不再使用的对象。

>####推荐的性能测试工具?

>>- JMeter
- ab(Apache基准测试工具)

>####ES需要优化的原因?

>>- 硬件问题——如机械硬盘和固态硬盘;
- 不良的数据结构;
- 糟糕的查询设计——如wildcard模糊匹配很长的字符串。

>####后台什么在运行导致CPU飙升?如何排查?

>>热点线程APi能向你提供查找问题根源所必需的信息。
GET /_nodes/hot_threads?pretty

>####如何扩展集群?

>>- 垂直扩展
向Elasticsearch集群添加更多的资源。
制约因素如:JVM最大支持31GB物理内存。
- 水平扩展
索引多分片、多副本,集群中分散处理之。
优点:降低运行集群的成本。
版本升级后(如5.X升级到6.0),确保服务仍然可用。

>####集群架构设计考虑因素?

>>当你在设计架构、决定节点数量、有多少个索引以及每个索引的分片数量时,你需要把能接受的出现故障的节点数量考虑进去。

>>当然了,你还需要考虑性能,只不过冗余和高可用应该是进行扩展时的一个因子。

>####大规模集群节点角色如何设定?

>>为了有一个完全容错和高可用的集群,我们应该区分节点,为每个节点一个设计好的角色,角色分类如下:
- 路由节点或查询聚合节点;
发送子查询到其他节点,收集和合并结果,以及响应发出查询的客户端。

node.master: false
node.data: false

- 数据节点

node.master: false
node.data: true

- 候选主节点

node.master: true
node.data: false
http.enabled: false


>>候选主节点禁用Http协议是为了避免意外地在这些节点上进行查询。这样候选主节点相比于数据节点和路由节点可以使用更少的资源,可以确保它们仅仅被用来处理和主节点相关的工作。

>####高负载场景Elasticsearch优化的常规建议?

>>这里是建议,不是准则。
- 选择正确的存储,如:选择默认的default存储类型。
- 按需设定刷新频率
索引刷新频率定义:文档需要多长时间才能出现在搜索结果中。
- 正确认知:
刷新频率越短,查询越慢,且索引文档的吞吐率越低。
默认刷新频率:1s刷新一次。
无限的增加刷新时间是没有意义的,因为超过一定的值(取决于你的数据负载和数据量)之后,性能提升变得微乎其微。
- 线程池优化
线程池优化的必要场景:你看到节点正在填充队列并且仍然有计算能力剩余,且这些计算能力可以被指定用于处理待处理的任务。
- 调整合并过程
index.merge.policy.mery_factory低于默认值10,会导致更少的段,更低的RAM消耗,更快的查询速度和更慢的索引速度;
若大于10,导致索引由更多的分段组成,更高的RAM消耗,更慢的查询速度和更快的索引速度。
- 合理数据分布
高索引量的使用场景:把索引分散到多个分片上来降低服务器CPU和I/O子系统的压力。

>>如果你的节点无法处理查询带来的负载,你可以增加更多的ES节点,并增加副本的数量,于是主分片的物理拷贝会部署到新增节点上。这样会使得文档索引慢一些,但是会给你同时处理更多查询的能力。

>###高负载、高查询频率场景的建议

>>- 启动过滤器缓存和分片查询缓存
过滤器缓存配置:indices.cache.filter.size
分片查询缓存配置:indices.cache.query.enable
- 优化查询语句结构
书本中的过滤器已不再使用5.X以及更高版本。
但,依然可以优化查询语句,返回核对查询同样语句返回时间,进行权衡优化。
- 使用路由
有着相同路由值的数据都会保存到相同的分片上。
- 并行查询
建议数据平均分配,多个节点可以有相同的负载。
- 字段数据缓存和断路
当使用聚合和排序等字段数据缓存相关操作时,遇到了内存相关的问题(内存泄漏或者GC停顿),可以考虑使用 doc value。
- 控制size和shard_size
主要针对聚合操作。
增加size和shard_size能使得聚合结果更准确,代价是:更多的网络开销和内存使用;
减少size和shard_size能使得聚合不那么精确,代价是:网络开销小和内存使用率低。

>####高负载、高索引吞吐量场景

>>- 批量索引
批量索引代替逐个索引文档。
- doc values和索引速度的取舍
一方面:我们只关心更高的索引速度和更大的索引吞吐量,可以考虑不适用doc values。
另一方面:如果有大量的数据,为了使用聚合和排序功能而不产生内存相关问题,唯一选择——使用 doc values。
- 控制文档字段
方式一:_source 控制字段输出;
方式二:禁用_all。
减少文档的大小和其内文本字段的数量会让索引稍快一些。
- 索引的结构和副本
1) 主分片部署到所有的节点上,以便:并行的索引文档,加快索引的速度。
2)过多的副本导致索引速度下降。
- 调整预写日志。
- 存储优化
1)资金充足,建议购买SSD——原因:速度优势明显;
2)资金不足,考虑ES使用多个数据路径。
3)不要使用共享或者远程的文件系统保存索引——原因:速度慢,整体性能下降。
- 索引期间的内存缓存
建议给每个索引期间生效的分片分配512MB内存。
indices.memeory.index_buffer_size是设置节点的,而不是分片。

##小结

>书中基于ES1.X版本的一些优化细节,可能在5.X、6.X甚至更高版本中有所不同,需要根据实战需要、并结合最新官网文档更新相关知识。

作者:铭毅天下   文章转载自http://blog.csdn.net/laoyang360

##加入钉钉技术讨论群

<p style="text-align:center"><img src="https://yqfile.alicdn.com/fd66fe6dfb293dc9cd7e02122200196dd063f45e.jpeg" width = "200" height = "248" alt="dingQR"></p>
阿里云Elasticsearch已正式发布啦,Elastic开源官方联合开发,集成5.5.3商业版本XPack功能,欢迎开通使用。
相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
4月前
|
存储 人工智能 数据处理
Elasticsearch 8 RAG 技术分享
本文介绍了Elasticsearch 8 在RAG场景方面的发展历程、技术演进、未来发展方向和产品能力。
395 8
|
存储 Java 关系型数据库
【Elasticsearch 技术分享】—— 十张图带大家看懂 ES 原理 !明白为什么说:ES 是准实时的!
说到 Elasticsearch ,其中最明显的一个特点就是 near real-time 准实时 —— 当文档存储在Elasticsearch中时,将在1秒内以几乎实时的方式对其进行索引和完全搜索。那为什么说 ES 是准实时的呢?
1275 0
|
自然语言处理
【Elasticsearch 技术分享】—— ES 查询检索数据的过程
ES 使用过程中常用的就是查询以及检索,那查询和检索的过程,什么样的呢?
1405 0
|
存储 索引
【Elasticsearch 技术分享】—— Elasticsearch 存储一条数据, put 过程是什么样子的?
在前面已经介绍了 ES 中常用的一些名词,知道了数据是存储在 shard 中的,而 index 会映射一个或者多个 shard 。那这时候我要存储一条数据到某个索引下,这条数据是在哪个 index 下的呢?
726 0
|
存储 JSON API
【Elasticsearch 技术分享】—— ES 常用名词及结构
看完什么是 Elasticsearch 以及了解到了倒排索引的概念,下面就熟悉下 ES 中常用的一些名词。
247 0
【Elasticsearch 技术分享】—— ES 常用名词及结构
|
存储 缓存 JSON
【Elasticsearch 技术分享】—— Elasticsearch ?倒排索引?这都是什么?
革命同志是块砖,哪里需要哪里搬!这不,老大发话,要我在组内做一个 Elasticsearch 技术分享。这不话题一转,开始看起来 ES 了。虽然很久之前用过 ELK 做过日志监控系统,但是毕竟时隔已久,还是得从头看起。当然手头的活也不能停,话不多说,开始分享。先看看什么是 ES?
204 0
|
存储 数据可视化 搜索推荐
如何做一次Elasticsearch技术分享?
如何做一次Elasticsearch技术分享?
168 0
如何做一次Elasticsearch技术分享?
|
Java 数据库 云计算
何做一次Elasticsearch技术分享?
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。
1512 0
何做一次Elasticsearch技术分享?
|
29天前
|
存储 安全 数据管理
如何在 Rocky Linux 8 上安装和配置 Elasticsearch
本文详细介绍了在 Rocky Linux 8 上安装和配置 Elasticsearch 的步骤,包括添加仓库、安装 Elasticsearch、配置文件修改、设置内存和文件描述符、启动和验证 Elasticsearch,以及常见问题的解决方法。通过这些步骤,你可以快速搭建起这个强大的分布式搜索和分析引擎。
40 5
|
2月前
|
存储 JSON Java
elasticsearch学习一:了解 ES,版本之间的对应。安装elasticsearch,kibana,head插件、elasticsearch-ik分词器。
这篇文章是关于Elasticsearch的学习指南,包括了解Elasticsearch、版本对应、安装运行Elasticsearch和Kibana、安装head插件和elasticsearch-ik分词器的步骤。
190 0
elasticsearch学习一:了解 ES,版本之间的对应。安装elasticsearch,kibana,head插件、elasticsearch-ik分词器。

相关产品

  • 检索分析服务 Elasticsearch版