41-微服务技术栈(高级):分布式搜索引擎ElasticSearch(RestClient文档处理[搜索/分页/高亮/地理坐标])

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生网关 MSE Higress,422元/月
注册配置 MSE Nacos/ZooKeeper,118元/月
简介: 在前面的学习中,笔者带领大家完成海量数据导入ES,实现了ES基本的存储功能,但是我们知道ES最擅长的还是搜索、数据分析。所以本节笔者将继续带领大家研究一下ES的数据搜索功能,同上节一样,继续分别采用DSL和RestClient实现搜索。

文档的查询同样适用昨天学习的 RestHighLevelClient对象,基本步骤包括:

  • 1)准备Request对象
  • 2)准备请求参数
  • 3)发起请求
  • 4)解析响应

1.快速入门

我们以match_all查询为例

1.1.发起查询请求

代码解读:

  • 第一步,创建SearchRequest对象,指定索引库名
  • 第二步,利用request.source()构建DSL,DSL中可以包含查询、分页、排序、高亮等
  • query():代表查询条件,利用QueryBuilders.matchAllQuery()构建一个match_all查询的DSL
  • 第三步,利用client.search()发送请求,得到响应

这里关键的API有两个,一个是request.source(),其中包含了查询、排序、分页、高亮等所有功能:

另一个是QueryBuilders,其中包含match、term、function_score、bool等各种查询:

1.2.解析响应

响应结果的解析:

elasticsearch返回的结果是一个JSON字符串,结构包含:

  • hits:命中的结果
  • total:总条数,其中的value是具体的总条数值
  • max_score:所有结果中得分最高的文档的相关性算分
  • hits:搜索结果的文档数组,其中的每个文档都是一个json对象
  • _source:文档中的原始数据,也是json对象

因此,我们解析响应结果,就是逐层解析JSON字符串,流程如下:

  • SearchHits:通过response.getHits()获取,就是JSON中的最外层的hits,代表命中的结果
  • SearchHits#getTotalHits().value:获取总条数信息
  • SearchHits#getHits():获取SearchHit数组,也就是文档数组
  • SearchHit#getSourceAsString():获取文档结果中的_source,也就是原始的json文档数据

1.3.完整代码

完整代码如下:

@Test

void testMatchAll() throws IOException {

   // 1.准备Request

   SearchRequest request = new SearchRequest("hotel");

   // 2.准备DSL

   request.source()

       .query(QueryBuilders.matchAllQuery());

   // 3.发送请求

   SearchResponse response = client.search(request, RequestOptions.DEFAULT);


   // 4.解析响应

   handleResponse(response);

}


private void handleResponse(SearchResponse response) {

   // 4.解析响应

   SearchHits searchHits = response.getHits();

   // 4.1.获取总条数

   long total = searchHits.getTotalHits().value;

   System.out.println("共搜索到" + total + "条数据");

   // 4.2.文档数组

   SearchHit[] hits = searchHits.getHits();

   // 4.3.遍历

   for (SearchHit hit : hits) {

       // 获取文档source

       String json = hit.getSourceAsString();

       // 反序列化

       HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);

       System.out.println("hotelDoc = " + hotelDoc);

   }

}

1.4.小结

查询的基本步骤是:

  1. 创建SearchRequest对象
  2. 准备Request.source(),也就是DSL。
    ① QueryBuilders来构建查询条件
    ② 传入Request.source() 的 query() 方法
  3. 发送请求,得到结果
  4. 解析结果(参考JSON结果,从外到内,逐层解析)

2.match查询

全文检索的match和multi_match查询与match_all的API基本一致。差别是查询条件,也就是query的部分。

网络异常,图片无法展示
|

因此,Java代码上的差异主要是request.source().query()中的参数了。同样是利用QueryBuilders提供的方法:

而结果解析代码则完全一致,可以抽取并共享。完整代码如下:

@Test

void testMatch() throws IOException {

   // 1.准备Request

   SearchRequest request = new SearchRequest("hotel");

   // 2.准备DSL

   request.source()

       .query(QueryBuilders.matchQuery("all", "如家"));

   // 3.发送请求

   SearchResponse response = client.search(request, RequestOptions.DEFAULT);

   // 4.解析响应

   handleResponse(response);

}

3.精确查询

精确查询主要是两者:

  • term:词条精确匹配
  • range:范围查询

与之前的查询相比,差异同样在查询条件,其它都一样。查询条件构造的API如下:

4.布尔查询

布尔查询是用must、must_not、filter等方式组合其它查询,代码示例如下:

可以看到,API与其它查询的差别同样是在查询条件的构建,QueryBuilders,结果解析等其他代码完全不变。完整代码如下:

@Test

void testBool() throws IOException {

   // 1.准备Request

   SearchRequest request = new SearchRequest("hotel");

   // 2.准备DSL

   // 2.1.准备BooleanQuery

   BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();

   // 2.2.添加term

   boolQuery.must(QueryBuilders.termQuery("city", "杭州"));

   // 2.3.添加range

   boolQuery.filter(QueryBuilders.rangeQuery("price").lte(250));


   request.source().query(boolQuery);

   // 3.发送请求

   SearchResponse response = client.search(request, RequestOptions.DEFAULT);

   // 4.解析响应

   handleResponse(response);


}

5.排序、分页

搜索结果的排序和分页是与query同级的参数,因此同样是使用request.source()来设置。对应的API如下:

完整代码示例:

@Test

void testPageAndSort() throws IOException {

   // 页码,每页大小

   int page = 1, size = 5;


   // 1.准备Request

   SearchRequest request = new SearchRequest("hotel");

   // 2.准备DSL

   // 2.1.query

   request.source().query(QueryBuilders.matchAllQuery());

   // 2.2.排序 sort

   request.source().sort("price", SortOrder.ASC);

   // 2.3.分页 from、size

   request.source().from((page - 1) * size).size(5);

   // 3.发送请求

   SearchResponse response = client.search(request, RequestOptions.DEFAULT);

   // 4.解析响应

   handleResponse(response);


}

6.高亮

高亮的代码与之前代码差异较大,有两点:

  • 查询的DSL:其中除了查询条件,还需要添加高亮条件,同样是与query同级。
  • 结果解析:结果除了要解析_source文档数据,还要解析高亮结果

6.1.高亮请求构建

高亮请求的构建API如下:

上述代码省略了查询条件部分,但是大家不要忘了:高亮查询必须使用全文检索查询,并且要有搜索关键字,将来才可以对关键字高亮。完整代码如下:

@Test

void testHighlight() throws IOException {

   // 1.准备Request

   SearchRequest request = new SearchRequest("hotel");

   // 2.准备DSL

   // 2.1.query

   request.source().query(QueryBuilders.matchQuery("all", "如家"));

   // 2.2.高亮

   request.source().highlighter(new HighlightBuilder().field("name").requireFieldMatch(false));

   // 3.发送请求

   SearchResponse response = client.search(request, RequestOptions.DEFAULT);

   // 4.解析响应

   handleResponse(response);


}

6.2.高亮结果解析

高亮的结果与查询的文档结果默认是分离的,并不在一起。

因此解析高亮的代码需要额外处理:

代码解读:

  • 第一步:从结果中获取source。hit.getSourceAsString(),这部分是非高亮结果,json字符串。还需要反序列为HotelDoc对象
  • 第二步:获取高亮结果。hit.getHighlightFields(),返回值是一个Map,key是高亮字段名称,值是HighlightField对象,代表高亮值
  • 第三步:从map中根据高亮字段名称,获取高亮字段值对象HighlightField
  • 第四步:从HighlightField中获取Fragments,并且转为字符串。这部分就是真正的高亮字符串了
  • 第五步:用高亮的结果替换HotelDoc中的非高亮结果

完整代码如下:

private void handleResponse(SearchResponse response) {

   // 4.解析响应

   SearchHits searchHits = response.getHits();

   // 4.1.获取总条数

   long total = searchHits.getTotalHits().value;

   System.out.println("共搜索到" + total + "条数据");

   // 4.2.文档数组

   SearchHit[] hits = searchHits.getHits();

   // 4.3.遍历

   for (SearchHit hit : hits) {

       // 获取文档source

       String json = hit.getSourceAsString();

       // 反序列化

       HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);

       // 获取高亮结果

       Map<String, HighlightField> highlightFields = hit.getHighlightFields();

       if (!CollectionUtils.isEmpty(highlightFields)) {

           // 根据字段名获取高亮结果

           HighlightField highlightField = highlightFields.get("name");

           if (highlightField != null) {

               // 获取高亮值

               String name = highlightField.getFragments()[0].string();

               // 覆盖非高亮结果

               hotelDoc.setName(name);

           }

       }

       System.out.println("hotelDoc = " + hotelDoc);

   }

}

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
15天前
|
安全 应用服务中间件 API
微服务分布式系统架构之zookeeper与dubbo-2
微服务分布式系统架构之zookeeper与dubbo-2
|
15天前
|
负载均衡 Java 应用服务中间件
微服务分布式系统架构之zookeeper与dubbor-1
微服务分布式系统架构之zookeeper与dubbor-1
|
1月前
|
存储 JSON 数据库
Elasticsearch 分布式架构解析
【9月更文第2天】Elasticsearch 是一个分布式的搜索和分析引擎,以其高可扩展性和实时性著称。它基于 Lucene 开发,但提供了更高级别的抽象,使得开发者能够轻松地构建复杂的搜索应用。本文将深入探讨 Elasticsearch 的分布式存储和检索机制,解释其背后的原理及其优势。
116 5
|
20天前
|
自然语言处理 搜索推荐 数据库
高性能分布式搜索引擎Elasticsearch详解
高性能分布式搜索引擎Elasticsearch详解
50 4
高性能分布式搜索引擎Elasticsearch详解
|
27天前
|
JSON 自然语言处理 算法
ElasticSearch基础2——DSL查询文档,黑马旅游项目查询功能
DSL查询文档、RestClient查询文档、全文检索查询、精准查询、复合查询、地理坐标查询、分页、排序、高亮、黑马旅游案例
ElasticSearch基础2——DSL查询文档,黑马旅游项目查询功能
|
27天前
|
JSON 自然语言处理 数据库
ElasticSearch基础1——索引和文档。Kibana,RestClient操作索引和文档+黑马旅游ES库导入
概念、ik分词器、倒排索引、索引和文档的增删改查、RestClient对索引和文档的增删改查
ElasticSearch基础1——索引和文档。Kibana,RestClient操作索引和文档+黑马旅游ES库导入
|
2月前
|
监控 Go API
带你十天轻松搞定 Go 微服务之大结局(分布式事务)
带你十天轻松搞定 Go 微服务之大结局(分布式事务)
|
2月前
|
Java 数据库连接 微服务
揭秘微服务架构下的数据魔方:Hibernate如何玩转分布式持久化,实现秒级响应的秘密武器?
【8月更文挑战第31天】微服务架构通过将系统拆分成独立服务,提升了可维护性和扩展性,但也带来了数据一致性和事务管理等挑战。Hibernate 作为强大的 ORM 工具,在微服务中发挥关键作用,通过二级缓存和分布式事务支持,简化了对象关系映射,并提供了有效的持久化策略。其二级缓存机制减少数据库访问,提升性能;支持 JTA 保证跨服务事务一致性;乐观锁机制解决并发数据冲突。合理配置 Hibernate 可助力构建高效稳定的分布式系统。
51 0
|
2月前
|
存储 搜索推荐 API
探究:Elasticsearch 文档的 _id 是 Lucene 的 docid 吗?
【8月更文挑战第31天】在深入探索Elasticsearch(简称ES)这一强大的搜索引擎时,了解其底层存储机制——特别是与Lucene的关系,对于优化查询性能、设计高效的数据模型至关重要。其中,一个常见且容易引发误解的问题便是:Elasticsearch中文档的_id字段是否直接等同于Lucene的docid?本文将通过图文并茂的方式,详细剖析这一问题,帮助读者理解两者之间的微妙关系。
54 0
|
2月前
|
消息中间件 SQL 关系型数据库
go-zero微服务实战系列(十、分布式事务如何实现)
go-zero微服务实战系列(十、分布式事务如何实现)