ES分布式搜索引擎入门

简介: 本课程介绍Elasticsearch全文搜索引擎,涵盖倒排索引原理、IK分词器使用与词典扩展、Java Client实现文档增删改查及批量导入,掌握Term查询、全文检索、排序分页与布尔查询,助力高效搜索功能开发。

学习目标

  1. 能够说出什么是倒排索引
  2. 能够说出我们用的中文分词器是什么
  3. 能够说出IK分词器如何扩展词典
  4. 能够使用Java Client向索引增删改查文档
  5. 能够使用Java Client向索引批量导入文档
  6. 能够使用Java Client进行Term查询
  7. 能够使用Java Client进行全文检索
  8. 能够使用Java Client实现排序和分页
  9. 能够使用Java Client实现布尔查询
    1 Elasticsearch快速入门
    1.1. 认识Elasticsearch
    1.1.1 搜索需求
    黑马商城作为一个电商项目,商品的搜索肯定是访问频率最高的页面之一。目前搜索功能是基于数据库的模糊搜索来实现的,存在很多问题。
    查询效率较低
    由于数据库模糊查询不走索引,在数据量较大的时候,查询性能很差。
    此时全表扫描,时间复杂度:O(n)
    黑马商城的商品表中仅仅有不到9万条数据,基于数据库查询时,搜索接口的表现如图:

改为基于搜索引擎后,查询表现如下:

需要注意的是,数据库模糊查询随着表数据量的增多,查询性能的下降会非常明显,而搜索引擎的性能则不会随着数据增多而下降太多。目前仅10万不到的数据量差距就如此明显,如果数据量达到百万、千万、甚至上亿级别,这个性能差距会非常夸张。
功能单一
数据库的模糊搜索功能单一,匹配条件非常苛刻,必须恰好包含用户搜索的关键字。而在搜索引擎中,用户输入出现个别错字,或者用拼音搜索、同义词搜索都能正确匹配到数据。
综上,在面临海量数据的搜索,或者有一些复杂搜索需求的时候,推荐使用全文搜索技术来实现搜索功能。
AI:开源全文搜索引擎,按使用用户量降序排序
根据社区支持、知名度和普遍的应用情况,我们可以做出一个大致的估计。以下是几个较为知名的开源全文搜索引擎,按照它们的流行度和使用广泛程度进行排序:

  1. Elasticsearch
    a. 概述:Elasticsearch 是一个分布式的、RESTful 接口的搜索引擎和分析引擎,基于 Lucene 构建。
    b. 使用情况:被广泛用于日志分析、全文搜索、实时分析等领域,是 Elastic Stack 的核心组件之一。
    c. 社区支持:拥有庞大的社区和丰富的文档,以及大量的第三方插件和工具。
    d. 官网:https://www.elastic.co/elasticsearch
  2. Apache Solr
    a. 概述:Solr 是一个高性能的企业级搜索平台,同样基于 Lucene 构建。
    b. 使用情况:广泛应用于电子商务、新闻媒体、社交网络等多个领域。
    c. 社区支持:拥有成熟的社区和文档,支持多种语言和框架。
    d. 官网:https://solr.apache.org/
  3. Apache Lucene
    a. 概述:Lucene 是一个高性能的全文检索库,是许多搜索引擎的基础。
    b. 使用情况:由于其高度可定制性,Lucene 被广泛应用于构建定制化的搜索解决方案。
    c. 社区支持:拥有庞大的 Java 开发者社区,支持多种编程语言。
    d. 官网:http://lucene.apache.org/
  4. MeiliSearch
    a. 概述:MeiliSearch 是一个高度可配置、易于使用的搜索引擎。
    b. 使用情况:适用于需要快速部署的项目,特别是在开发阶段。
    c. 社区支持:拥有活跃的社区和良好的文档。
    d. 官网:https://meilisearch.com/
  5. Zinc
    a. 概述:Zinc 是一个轻量级的全文搜索引擎,用 Go 语言编写,旨在作为 ES 的轻量级替代方案。
    b. 使用情况:适用于资源有限的环境,如嵌入式系统或小型项目。
    c. 社区支持:相对较小的社区,但持续增长。
    d. 官网:https://github.com/justwatchcom/zinc
  6. CloriSearch
    a. 概述:CloriSearch 是一个轻量级的全文搜索引擎,用 Rust 语言编写。
    b. 使用情况:适用于需要高性能和稳定性的项目。
    c. 社区支持:社区正在成长中,但提供了一个简洁且强大的接口。
    d. 官网:https://gitcode.net/shpilu/cloriSearch
    排名第一的就是我们今天要学习的Elasticsearch.
    Elasticsearch是一款非常强大的开源搜索引擎,支持的功能非常多,例如:

                  代码搜索                                                       商品搜索
    

解决方案搜索 地图搜索
1.1.2 倒排索引
Elasticsearch之所以有如此高性能的搜索表现,正是得益于底层的倒排索引技术。那么什么是倒排索引呢?
倒排索引的概念是基于正向索引而言的。
1.1.2.1 正向索引
我们先来回顾一下正向索引。例如有一张名为tb_goods的表:
id title price
1 小米手机 3499
2 华为手机 4999
3 华为小米充电器 49
4 小米手环 49
... ... ...
其中的id字段已经创建了索引,由于索引底层采用了B+树结构,因此我们根据id搜索的速度会非常快。但是其他字段例如title,只在叶子节点上存在。

因此要根据title搜索的时候只能遍历树中的每一个叶子节点,判断title数据是否符合要求。
比如用户的SQL语句为:
select * from tb_goods where title like '%手机%';
那搜索的大概流程如图:

说明:
● 1)检查到搜索条件为like '%手机%',需要找到title中包含手机的数据
● 2)逐条遍历每行数据(每个叶子节点),比如第1次拿到id为1的数据
● 3)判断数据中的title字段值是否符合条件
● 4)如果符合则放入结果集,不符合则丢弃
● 5)回到步骤1
综上,根据id精确匹配时,可以走索引,查询效率较高。而当搜索条件为模糊匹配时,由于索引无法生效,导致从索引查询退化为全表扫描,效率很差。
因此,正向索引适合于根据索引字段的精确搜索,不适合基于部分词条的模糊匹配。
而倒排索引恰好解决的就是根据部分词条模糊匹配的问题。
1.1.2.2 倒排索引
倒排索引中有两个非常重要的概念:
● 文档(Document):用来搜索的数据,其中的每一条数据就是一个文档。例如一个网页、一个商品信息
● 词条(Term):对文档数据或用户搜索数据,利用某种算法分词,得到的具备含义的词语就是词条。例如:我是中国人,就可以分为:我、是、中国人、中国、国人这样的几个词条
创建倒排索引是对正向索引的一种特殊处理和应用,流程如下:
● 将每一个文档的数据利用分词算法根据语义拆分,得到一个个词条
● 倒排索引记录每个词条对应的文档id

相关文章
|
13天前
|
数据采集 人工智能 安全
|
8天前
|
编解码 人工智能 自然语言处理
⚽阿里云百炼通义万相 2.6 视频生成玩法手册
通义万相Wan 2.6是全球首个支持角色扮演的AI视频生成模型,可基于参考视频形象与音色生成多角色合拍、多镜头叙事的15秒长视频,实现声画同步、智能分镜,适用于影视创作、营销展示等场景。
657 4
|
8天前
|
机器学习/深度学习 人工智能 前端开发
构建AI智能体:七十、小树成林,聚沙成塔:随机森林与大模型的协同进化
随机森林是一种基于决策树的集成学习算法,通过构建多棵决策树并结合它们的预测结果来提高准确性和稳定性。其核心思想包括两个随机性:Bootstrap采样(每棵树使用不同的训练子集)和特征随机选择(每棵树分裂时只考虑部分特征)。这种方法能有效处理大规模高维数据,避免过拟合,并评估特征重要性。随机森林的超参数如树的数量、最大深度等可通过网格搜索优化。该算法兼具强大预测能力和工程化优势,是机器学习中的常用基础模型。
350 164
|
7天前
|
机器学习/深度学习 自然语言处理 机器人
阿里云百炼大模型赋能|打造企业级电话智能体与智能呼叫中心完整方案
畅信达基于阿里云百炼大模型推出MVB2000V5智能呼叫中心方案,融合LLM与MRCP+WebSocket技术,实现语音识别率超95%、低延迟交互。通过电话智能体与座席助手协同,自动化处理80%咨询,降本增效显著,适配金融、电商、医疗等多行业场景。
359 155

热门文章

最新文章