这些年背过的面试题——ES篇

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 本文是技术人面试系列ES篇,面试中关于ES都需要了解哪些基础?一文带你详细了解,欢迎收藏!

一、概述

特点

  1. 安装方便:没有其他依赖,下载后安装非常方便;只用修改几个参数就可以搭建起来一个集群;
  2. JSON:输入/输出格式为 JSON,意味着不需要定义 Schema,快捷方便;
  3. RESTful:基本所有操作 ( 索引、查询、甚至是配置 ) 都可以通过 HTTP 接口进行;
  4. 分布式:节点对外表现对等(每个节点都可以用来做入口) 加入节点自动负载均衡;
  5. 多租户:可根据不同的用途分索引,可以同时操作多个索引;
  6. 支持超大数据:可以扩展到 PB 级的结构化和非结构化数据 海量数据的近实时处理;


功能

  • 分布式的搜索引擎
    分布式:Elasticsearch自动将海量数据分散到多台服务器上去存储和检索。
  • 全文检索
    提供模糊搜索等自动度很高的查询方式,并进行相关性排名,高亮等功能。
  • 数据分析引擎(分组聚合)
    社区网站,最近一周用户登录、最近一个月各功能使用情况。
  • 对海量数据进行近实时(秒级)的处理
    海量数据的处理:因为是分布式架构,可以采用大量的服务器去存储和检索数据。


场景

  • 搜索类场景
    比如说人员检索、设备检索、App内的搜索、订单搜索。
  • 日志分析类场景
    经典的ELK组合(Elasticsearch/Logstash/Kibana),实现日志收集,日志存储,日志分析。
  • 数据预警平台及数据分析场景
    例如社区团购提示,当优惠的价格低于某个值时,自动触发通知消息,通知用户购买。
    分析竞争对手商品销量Top10,供运营分析等等。
  • 商业BI(Business Intelligence)系统
    比如社区周边,需要分析某一地区用户消费金额及商品类别,输出相应的报表数据,并预测该地区的热卖商品,通过区域和人群特征划分进行定向推荐。Elasticsearch执行数据分析和挖掘,Kibana做数据可视化。


竞品分析

LuceneJava编写的信息搜索工具包(Jar包),Lucene只是一个框架,熟练运用Lucene非常复杂。Solr基于Lucene的HTTP接口查询服务器,是一个封装了很多Lucene细节搜索引擎系统。Elasticsearch基于Lucene分布式海量数据近实时搜索引擎。采用的策略是将每一个字段都编入索引,使其可以被搜索。


对比

1)Solr利用Zookeeper进行分布式管理,而Elasticsearch自身带有分布式协调管理功能。

2)Solr比Elasticsearch实现更加全面,而Elasticsearch本身更注重于核心功能, 高级功能多由第三方插件提供。

3)Solr在传统的搜索应用中表现好于Elasticsearch,而Elasticsearch在实时搜索应用方面比Solr表现好。

目前主流依然是Elasticsearch7.x 最新的是7.8。

优化:默认集成JDK、升级Lucene8大幅提升TopK性能、引入熔断机制避免OOM发生。


二、基本概念


IK分词器

IKAnalyzer是一个开源的,基于java语言开发的轻量级的中文分词工具包。新版本的IKAnalyzer3.0则发展为 面向Java的公用分词组件,独立于Lucene项目,同时提供了对Lucene的默认优化实现。IK分词器3.0的特性如下:

  1. 采用了特有的“正向迭代最细粒度切分算法“,具有60万字/秒的高速处理能力。
  2. 采用了多子处理器分析模式,支持:英文字母(IP地址、Email、URL)、数字(日期,常用中文数量词,罗马数字,科学计数法),中文词汇(姓名、地名处理)等分词处理。
  3. 支持个人词条的优化的词典存储,更小的内存占用。
  4. 针对Lucene全文检索优化的查询分析器IKQueryParser;采用歧义分析算法优化查询关键字的搜索
  5. 排列组合,能极大得提高Lucene检索的命中率。
  • 扩展词典:ext_dict
  • 停用词典:stop_dict
  • 同义词典:same_dict


索引(类数据库)

settings:设置索引库,定义索引库的分片数副本数等


映射(类表设计)

  • 字段的数据类型
  • 分词器类型
  • 是否要进行存储或者创造索引


文档(数据)

  • 全量更新用Put
  • 局部更新用Post


三、高级特性

映射高级

地理坐标点数据类型

地理坐标点是指地球表面可以用经纬度描述的一个点。地理坐标点可以用来计算两个坐标间的距离,还可以判断一个坐标是否在一个区域中。地理坐标点需要显式声明对应字段类型为 geo_point

动态映射

使用dynamic mapping 来确定字段的数据类型并自动把新的字段添加到类型映射


DSL高级

  • 查询所有(match_all query)
  • 全文搜索(full-text query)
  • 匹配搜索(match query)
  • 短语搜索(match phrase query)
  • 默认查询(query string)
  • 多字段匹配搜索(multi match query)
  • 词条级搜索(term-level query)
  • 精确搜索term
  • 集合搜索idx
  • 范围搜索range
  • 前缀搜索prefix
  • 通配符搜索wildcard
  • 正则搜索regexp
  • 模糊搜索fuzzy
  • 复合搜索
  • 排序sort&分页size&高亮highLight&批量bluk


聚合分析

聚合分析是数据库中重要的功能特性,完成对一个查询的数据集中数据的聚合计算,如:找出某字段(或计算表达式的结果)的最大值、最小值,计算和、平均值等。
  • 对一个数据集求最大、最小、和、平均值等指标的聚合,在ES中称为指标聚合 metric;
  • 对查询出的数据进行分桶group by,再在上进行指标桶聚合 bucketing


智能搜索

  • Term Suggester
  • Phrase Suggester
  • Completion Suggester
  • Context Suggester


如果Completion Suggester已经到了零匹配,可以猜测用户有输入错误,这时候可以尝试一下Phrase Suggester。如果还是未匹配则尝试Term Suggester


精准程度上(Precision)看:Completion > Phrase > Term, 而召回率上(Recall)则反之。


从性能上看,Completion Suggester是最快的,如果能满足业务需求,只用Completion Suggester做前缀匹配是最理想的。Phrase和Term由于是做倒排索引的搜索,相比较而言性能应该要低不少,应尽量控制Suggester用到的索引的数据量,最理想的状况是经过一定时间预热后,索引可以全量map到内存。


四、实战

写优化

  • 副本数量0
    首次 初始化数据时,将副本设置为0,写入完毕再改回,避免了副本建立索引的过程;
  • 自动生成id
    可以避免写前判断是否存在的过程;
  • 合理使用分词器
    binary类型不适用,title和text使用不同的分词器加快速度;
  • 禁用评分,延长索引刷新间隔
  • 将多个索引操作放入到batch进行处理


读优化

  • 使用Filter代替Query,减少打分缓解,使用bool组合query和filter查询;
  • 对数据进行分组,按照日,月,年不同维度分组,查询可集中在局部index中;


零停机索引重建方案

  • 外部数据导入
  • 通过MQ的web控制台或cli命令行,发送指定的MQ消息;
  • MQ消息被微服务模块的消费者消费,触发ES数据重新导入功能;
  • 微服务模块从数据库里查询数据的总数及分页信息,并发送至MQ;
  • 微服务从MQ中根据分页信息从数据库获取到数据后,根据索引结构的定义,将数据组装成ES支持的JSON格式,并通过bulk命令将数据发送给Elasticsearch集群进行索引的重建工作。

  • 基于Scroll+bulk+索引别名的方案
  • 新建索引book_new,将mapping信息,settings信息等按新的要求全部定义好;
  • 使用scroll api将数据批量查询出来,指定scroll查询持续时间;
  • 采用bulk api将scoll查出来的一批数据,批量写入新索引;
  • 查询一批导入一批,注意每次都使用上次结束时的scoll_id;
  • 切换别名book_alias到新的索引book_new上面,此时Java客户端仍然使用别名访问,也不需要修;
    改任何代码,不需要停机。验证别名查询的是否为新索引的数据。


  • Reindex API方案
  • Elasticsearch v6.3.1已经支持Reindex API,它对scroll、bulk做了一层封装,能够 对文档重建索引而不需要任何插件或外部工具。

参与度 & 灵活性:自研 > scroll+bulk > reindex

稳定性 & 可靠性:自研 < scroll+bulk < reindex



DeepPaging性能解决方案

比如超级管理员,要给某个省份用户发送公告或者广告,最容易想到的就是利用 from + size 来实现,但这是不现实的。

image.png

来源|阿里云开发者公众号

作者|懿佳







相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
8月前
|
存储 算法 数据挖掘
|
存储 自然语言处理 算法
ES高频面试问题:一张图带你读懂 Elasticsearch 中“正排索引(正向索引)”和“倒排索引(反向索引)”区别
ES高频面试问题:一张图带你读懂 Elasticsearch 中“正排索引(正向索引)”和“倒排索引(反向索引)”区别
ES高频面试问题:一张图带你读懂 Elasticsearch 中“正排索引(正向索引)”和“倒排索引(反向索引)”区别
|
29天前
|
存储 网络协议 前端开发
es集群安装,邮储银行java面试
es集群安装,邮储银行java面试
|
30天前
|
消息中间件 算法 Java
面试官:Kafka和ES选主有什么区别?
Kafka 和 ES,作为大数据处理的中间件,分别用于流处理和全文检索。它们的选主(Kafka 的 Controller 和 ES 的 Master)都基于 Raft 算法实现一致性。Raft 算法通过选举确保分布式系统数据一致性,涉及领导者、追随者和候选人间的身份转换。当超过一半的节点投票给同一候选节点时,该节点成为新领导者。Kafka 和 ES 在此基础上可能有各自优化调整。更多关于 Raft 算法的详细流程和选举规则见原文。
60 2
|
9月前
|
存储 数据采集 搜索推荐
「Java面试」一次性带你搞明白面试必问题,谈谈你对ES的理解
ES全称是Elastic Search,它是一个建立在全文搜索引擎库Lucene基础上的开源搜索和分析引擎。ES它本身具有分布式存储、检索速度快的特性。所以,我们经常会用它来实现全文检索的功能。 Elastic官网对ES的定义已经不再是ElasticSearch这一个组件,而是指Elastic Stack生态。
113 0
|
11月前
java初中级面试题(SSM+Mysql+微服务(SpringCloud+Dubbo)+消息队列(RocketMQ)+缓存(Redis+MongoDB)+设计模式+搜索引擎(ES)+JVM
java初中级面试题(SSM+Mysql+微服务(SpringCloud+Dubbo)+消息队列(RocketMQ)+缓存(Redis+MongoDB)+设计模式+搜索引擎(ES)+JVM
475 0
|
11月前
java初中级面试题(SSM+Mysql+微服务(SpringCloud+Dubbo)+消息队列(RocketMQ)+缓存(Redis+MongoDB)+设计模式+搜索引擎(ES)+JVM
java初中级面试题(SSM+Mysql+微服务(SpringCloud+Dubbo)+消息队列(RocketMQ)+缓存(Redis+MongoDB)+设计模式+搜索引擎(ES)+JVM
606 0
|
11月前
java初中级面试题(SSM+Mysql+微服务(SpringCloud+Dubbo)+消息队列(RocketMQ)+缓存(Redis+MongoDB)+设计模式+搜索引擎(ES)+JVM
java初中级面试题(SSM+Mysql+微服务(SpringCloud+Dubbo)+消息队列(RocketMQ)+缓存(Redis+MongoDB)+设计模式+搜索引擎(ES)+JVM
692 0
|
存储 自然语言处理 算法
最新ES面试题整理(Elasticsearch面试指南系列)(下)
最新ES面试题整理(Elasticsearch面试指南系列)(下)
最新ES面试题整理(Elasticsearch面试指南系列)(下)
|
SQL 缓存 JSON
最新ES面试题整理(Elasticsearch面试指南系列)(上)
最新ES面试题整理(Elasticsearch面试指南系列)
最新ES面试题整理(Elasticsearch面试指南系列)(上)