ES分布式搜索引擎入门

简介: 本课程介绍Elasticsearch全文搜索引擎,涵盖倒排索引原理、IK分词器使用与词典扩展、Java Client实现文档增删改查及批量导入,掌握Term查询、全文检索、排序分页与布尔查询,助力高效搜索功能开发。

学习目标

  1. 能够说出什么是倒排索引
  2. 能够说出我们用的中文分词器是什么
  3. 能够说出IK分词器如何扩展词典
  4. 能够使用Java Client向索引增删改查文档
  5. 能够使用Java Client向索引批量导入文档
  6. 能够使用Java Client进行Term查询
  7. 能够使用Java Client进行全文检索
  8. 能够使用Java Client实现排序和分页
  9. 能够使用Java Client实现布尔查询
    1 Elasticsearch快速入门
    1.1. 认识Elasticsearch
    1.1.1 搜索需求
    黑马商城作为一个电商项目,商品的搜索肯定是访问频率最高的页面之一。目前搜索功能是基于数据库的模糊搜索来实现的,存在很多问题。
    查询效率较低
    由于数据库模糊查询不走索引,在数据量较大的时候,查询性能很差。
    此时全表扫描,时间复杂度:O(n)
    黑马商城的商品表中仅仅有不到9万条数据,基于数据库查询时,搜索接口的表现如图:

改为基于搜索引擎后,查询表现如下:

需要注意的是,数据库模糊查询随着表数据量的增多,查询性能的下降会非常明显,而搜索引擎的性能则不会随着数据增多而下降太多。目前仅10万不到的数据量差距就如此明显,如果数据量达到百万、千万、甚至上亿级别,这个性能差距会非常夸张。
功能单一
数据库的模糊搜索功能单一,匹配条件非常苛刻,必须恰好包含用户搜索的关键字。而在搜索引擎中,用户输入出现个别错字,或者用拼音搜索、同义词搜索都能正确匹配到数据。
综上,在面临海量数据的搜索,或者有一些复杂搜索需求的时候,推荐使用全文搜索技术来实现搜索功能。
AI:开源全文搜索引擎,按使用用户量降序排序
根据社区支持、知名度和普遍的应用情况,我们可以做出一个大致的估计。以下是几个较为知名的开源全文搜索引擎,按照它们的流行度和使用广泛程度进行排序:

  1. Elasticsearch
    a. 概述:Elasticsearch 是一个分布式的、RESTful 接口的搜索引擎和分析引擎,基于 Lucene 构建。
    b. 使用情况:被广泛用于日志分析、全文搜索、实时分析等领域,是 Elastic Stack 的核心组件之一。
    c. 社区支持:拥有庞大的社区和丰富的文档,以及大量的第三方插件和工具。
    d. 官网:https://www.elastic.co/elasticsearch
  2. Apache Solr
    a. 概述:Solr 是一个高性能的企业级搜索平台,同样基于 Lucene 构建。
    b. 使用情况:广泛应用于电子商务、新闻媒体、社交网络等多个领域。
    c. 社区支持:拥有成熟的社区和文档,支持多种语言和框架。
    d. 官网:https://solr.apache.org/
  3. Apache Lucene
    a. 概述:Lucene 是一个高性能的全文检索库,是许多搜索引擎的基础。
    b. 使用情况:由于其高度可定制性,Lucene 被广泛应用于构建定制化的搜索解决方案。
    c. 社区支持:拥有庞大的 Java 开发者社区,支持多种编程语言。
    d. 官网:http://lucene.apache.org/
  4. MeiliSearch
    a. 概述:MeiliSearch 是一个高度可配置、易于使用的搜索引擎。
    b. 使用情况:适用于需要快速部署的项目,特别是在开发阶段。
    c. 社区支持:拥有活跃的社区和良好的文档。
    d. 官网:https://meilisearch.com/
  5. Zinc
    a. 概述:Zinc 是一个轻量级的全文搜索引擎,用 Go 语言编写,旨在作为 ES 的轻量级替代方案。
    b. 使用情况:适用于资源有限的环境,如嵌入式系统或小型项目。
    c. 社区支持:相对较小的社区,但持续增长。
    d. 官网:https://github.com/justwatchcom/zinc
  6. CloriSearch
    a. 概述:CloriSearch 是一个轻量级的全文搜索引擎,用 Rust 语言编写。
    b. 使用情况:适用于需要高性能和稳定性的项目。
    c. 社区支持:社区正在成长中,但提供了一个简洁且强大的接口。
    d. 官网:https://gitcode.net/shpilu/cloriSearch
    排名第一的就是我们今天要学习的Elasticsearch.
    Elasticsearch是一款非常强大的开源搜索引擎,支持的功能非常多,例如:

                  代码搜索                                                       商品搜索
    

解决方案搜索 地图搜索
1.1.2 倒排索引
Elasticsearch之所以有如此高性能的搜索表现,正是得益于底层的倒排索引技术。那么什么是倒排索引呢?
倒排索引的概念是基于正向索引而言的。
1.1.2.1 正向索引
我们先来回顾一下正向索引。例如有一张名为tb_goods的表:
id title price
1 小米手机 3499
2 华为手机 4999
3 华为小米充电器 49
4 小米手环 49
... ... ...
其中的id字段已经创建了索引,由于索引底层采用了B+树结构,因此我们根据id搜索的速度会非常快。但是其他字段例如title,只在叶子节点上存在。

因此要根据title搜索的时候只能遍历树中的每一个叶子节点,判断title数据是否符合要求。
比如用户的SQL语句为:
select * from tb_goods where title like '%手机%';
那搜索的大概流程如图:

说明:
● 1)检查到搜索条件为like '%手机%',需要找到title中包含手机的数据
● 2)逐条遍历每行数据(每个叶子节点),比如第1次拿到id为1的数据
● 3)判断数据中的title字段值是否符合条件
● 4)如果符合则放入结果集,不符合则丢弃
● 5)回到步骤1
综上,根据id精确匹配时,可以走索引,查询效率较高。而当搜索条件为模糊匹配时,由于索引无法生效,导致从索引查询退化为全表扫描,效率很差。
因此,正向索引适合于根据索引字段的精确搜索,不适合基于部分词条的模糊匹配。
而倒排索引恰好解决的就是根据部分词条模糊匹配的问题。
1.1.2.2 倒排索引
倒排索引中有两个非常重要的概念:
● 文档(Document):用来搜索的数据,其中的每一条数据就是一个文档。例如一个网页、一个商品信息
● 词条(Term):对文档数据或用户搜索数据,利用某种算法分词,得到的具备含义的词语就是词条。例如:我是中国人,就可以分为:我、是、中国人、中国、国人这样的几个词条
创建倒排索引是对正向索引的一种特殊处理和应用,流程如下:
● 将每一个文档的数据利用分词算法根据语义拆分,得到一个个词条
● 倒排索引记录每个词条对应的文档id

相关文章
|
小程序 数据安全/隐私保护 Android开发
八米云-N1盒子、机顶盒等设备-小白保姆式超详细刷机教程
这里以魔百盒CM211-1为例,本次刷机用到的零碎工具比较多,不过都是常见刚需设备,大家可以按照清单核对一下。 目前只支持S905 L3、L3a、L2 系列的各种盒子
2560 1
八米云-N1盒子、机顶盒等设备-小白保姆式超详细刷机教程
|
Rust 安全 前端开发
你应该知晓的Rust Web 框架(一)
你应该知晓的Rust Web 框架
1323 1
|
监控 前端开发 JavaScript
AST 代码扫描实战:如何保障代码质量
2020 年 618 大促已经过去,作为淘系每年重要的大促活动,淘系前端在其中扮演着什么样的角色,如何保证大促的平稳进行?又在其中应用了哪些新技术?淘系前端团队特此推出「618 系列|淘系前端技术分享」,为大家介绍 618 中的前端身影。 本篇来自于频道与D2C智能团队的菉竹,为大家介绍本次 618 大促中是如何用代码扫描做资损防控的。
4037 0
AST 代码扫描实战:如何保障代码质量
|
机器学习/深度学习 数据采集 自然语言处理
魔搭社区模型速递(6.2-6.7)
魔搭ModelScope本期社区进展:1910个模型,183个数据集,47个创新应用,5 篇内容
1357 11
魔搭社区模型速递(6.2-6.7)
|
10月前
|
JSON API 开发者
淘宝店铺的所有商品API接口,Curl返回数据
淘宝平台未开放获取全店商品的公共API,开发者可通过阿里妈妈的淘宝联盟API获取参与推广的商品。需成为联盟开发者、创建应用,并通过adzone_id关联店铺。使用taobao.tbk.shop.get和taobao.tbk.item.info.get接口,可获取商品列表及详情,但需注意签名生成、调用频率限制及合规要求。未参与推广的商品无法通过该方式获取。
|
6月前
|
JSON Java fastjson
Spring Boot返回Json数据及数据封装
Spring Boot默认使用Jackson处理JSON,通过@RestController可直接返回JSON数据。本文详解Jackson与FastJson的配置与对比,并封装统一的JSON返回结构,提升前后端交互规范性与开发效率。
|
6月前
|
Java Spring
Spring Boot开发环境搭建和项目启动
图片展示了一幅色彩斑斓的抽象艺术画作,流动的线条与绚丽的色块交织,营造出梦幻般的视觉效果,仿佛宇宙星河或意识流的具象化表达,引人遐想。
|
Web App开发 JavaScript 前端开发
Node.js | 从前端到全栈的必经之路
深入浅出Node.js,最适合前端开发人员进入全栈时学习的服务端语言,以JavaScript为基础,使前端人员能够平滑过渡到全栈,赶快来认识一下Node.js吧!
1056 11
Node.js | 从前端到全栈的必经之路
|
Rust 前端开发 JavaScript
用 Rust 打包网页生成很小的桌面 App
Pake 支持 Mac / Windows / Linux 系统,常用包下载、命令行一键打包、定制开发。

热门文章

最新文章