ES客户端spring-boot-starter-data-elasticsearch

本文涉及的产品
云原生网关 MSE Higress,422元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
注册配置 MSE Nacos/ZooKeeper,118元/月
简介: SpringDataElasticsearch:ElasticsearchRepositoryElasticsearchRestTemplateElasticsearchOperations

ES客户端分类

Es-Server提供RESTFul-Api,客户端通过发起http请求,调用api实现索引库的管理,数据的交换,server端状态的监控......

  • 官方java客户端:
    <dependency>
      <groupId>org.elasticsearch.client</groupId>
      <artifactId>elasticsearch-rest-client</artifactId>
      <version>7.15.2</version>
    </dependency>
    
  • SpringDataElasticSearch:
    ~~~
    org.springframework.boot
    spring-boot-starter-data-elasticsearch
SpringDataElasticSearch继承了官方客户端elasticsearch-rest-client

![](https://img2020.cnblogs.com/blog/718864/202112/718864-20211215153439146-564044069.png)

![](https://img2020.cnblogs.com/blog/718864/202112/718864-20211215153455295-432675008.png)



* Elasticsearch.Net
* devtool:kibana
* HttpClient
* postman
* ......


> 特殊的客户端,节点客户端(NodeClient),将自己作为Es-server集群的节点。

# SpringDataElasticsearch

* ElasticsearchRepository
* ElasticsearchRestTemplate
* ElasticsearchOperations

ElasticsearchRestTemplate继承了ElasticsearchOperations,一般开发中都是基于ElasticsearchRestTemplate来访问ES服务端。

![](https://img2020.cnblogs.com/blog/718864/202112/718864-20211215153503528-1936136269.png)


#  ElasticsearchRestTemplate

## 环境
* ES-Server:7.14.0
* SpringBoot:2.5.3
* spring-boot-starter-data-elasticsearch:2.5.3
* Spring Data Elasticsearch: 4.2.3
* Elasticsearch Client used: 7.12.1
* Elasticsearch cluster: 7.14.0
* 测试索引库名称:vehicle
* 索引库数据结构:

{
"_index": "vehicle",
"_type": "_doc",
"_id": "19771755968",
"_version": 1,
"_score": 1.0,
"_source": {
"id": 19771755968,
"crossing_id": 30474,
"plate_number": "沪D86447",
"plate_color": "黄色",
"is_valid": 1,
"snap_time": "2021-08-29 08:00:00",
"create_time": "2021-08-29 08:07:51",
"lane_number": 1,
"crossing_timestamp": 1630195671.0
}
}


* 索引库映射:

{
"vehicle": {
"mappings": {
"properties": {
"create_time": {
"type": "date",
"format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
},
"crossing_id": {
"type": "keyword"
},
"crossing_timestamp": {
"type": "long"
},
"id": {
"type": "keyword"
},
"is_valid": {
"type": "keyword"
},
"lane_number": {
"type": "keyword"
},
"plate_color": {
"type": "keyword"
},
"plate_number": {
"type": "keyword"
},
"snap_time": {
"type": "date",
"format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
}
}
}
}
}


## 引入pom依赖

org.springframework.boot
spring-boot-starter-data-elasticsearch


com.alibaba
fastjson
1.2.71


org.springframework.boot
spring-boot-starter-web


org.projectlombok
lombok
true

## 配置ES-Server地址
application.yml

spring:
elasticsearch:
rest:
uris: http://192.168.1.149:19200


## 定义model

import com.fasterxml.jackson.annotation.JsonFormat;
import lombok.Data;
import lombok.experimental.Accessors;
import org.springframework.data.annotation.Id;
import org.springframework.data.elasticsearch.annotations.DateFormat;
import org.springframework.data.elasticsearch.annotations.Document;
import org.springframework.data.elasticsearch.annotations.Field;
import org.springframework.data.elasticsearch.annotations.FieldType;
import java.io.Serializable;
import java.time.LocalDateTime;

@Accessors(chain = true)
@Data
@Document(indexName = "vehicle")
public class Vehicle implements Serializable {
@Id
private String id;
@Field("plate_number")
private String plateNumber;
@Field("plate_color")
private String plateColor;
@Field("is_valid")
private Integer valid;
@Field("lane_number")
private Integer laneNumber;
@Field(name = "create_time", type = FieldType.Date, format = DateFormat.custom, pattern = "uuuu-MM-dd HH:mm:ss")
private LocalDateTime createTime;
@Field("crossing_id")
private Long crossingId;
@Field("crossing_timestamp")
private Long crossingTimestamp;
private Long sum;
}


## 根据id查询

@Autowiredprivate ElasticsearchRestTemplate template;

@GetMapping("/{id}")
public Vehicle getVehicle(@PathVariable("id") String id) {
Vehicle vehicle = template.get(id, Vehicle.class);
return vehicle;
}


## list查询

@Autowiredprivate ElasticsearchRestTemplate template;

@PostMapping("/list")
public List findVehicle(@RequestBody FindVehicleParam param) {
NativeSearchQuery query = new NativeSearchQueryBuilder()
.withQuery(QueryBuilders.matchQuery("plate_number", param.getPlateNumber()))
.withQuery(null != param.getPlateColor() ? QueryBuilders.matchQuery("plate_color", param.getPlateColor()) : null)
.build();
SearchHits result = template.search(query, Vehicle.class);
List lists = result.getSearchHits().stream().map(SearchHit::getContent).collect(Collectors.toList());
return lists;
}

## 查询过滤

@Autowiredprivate ElasticsearchRestTemplate template;

@PostMapping("/filter")
public List findVehicleWithFilter(@RequestBody FindVehicleParam param) {
NativeSearchQuery query = new NativeSearchQueryBuilder()
.withQuery(QueryBuilders.matchQuery("plate_number", param.getPlateNumber()))
.withQuery(null != param.getPlateColor() ? QueryBuilders.matchQuery("plate_color", param.getPlateColor()) : null)
//crossing_id 大于 2000
.withFilter(QueryBuilders.rangeQuery("crossing_id").gt(2000))
.build();
SearchHits result = template.search(query, Vehicle.class);
List lists = result.getSearchHits().stream().map(SearchHit::getContent).collect(Collectors.toList());
return lists;
}

## 查询聚合

@Autowiredprivate ElasticsearchRestTemplate template;

@PostMapping("/agg")
public VehicleAggregationDto findVehicleWithAgg(@RequestBody FindVehicleParam param) {
VehicleAggregationDto vehicleAggregationDto = new VehicleAggregationDto();
NativeSearchQuery query = new NativeSearchQueryBuilder()
.withQuery(QueryBuilders.matchQuery("plate_number", param.getPlateNumber()))
.withQuery(null != param.getPlateColor() ? QueryBuilders.matchQuery("plate_color", param.getPlateColor()) : null)
//crossing_id 大于 2000
.withFilter(QueryBuilders.rangeQuery("crossing_id").gt(2000))
.addAggregation(AggregationBuilders.sum("sumCrossingTimestamp").field("crossing_timestamp"))
.addAggregation(AggregationBuilders.sum("sumCreateTime").field("create_time"))
.withPageable(PageRequest.of(0, 50))
.build();
SearchHits result = template.search(query, Vehicle.class);
List lists = result.getSearchHits().stream().map(SearchHit::getContent).collect(Collectors.toList());
vehicleAggregationDto.setVehicles(lists);
Map agg = new ConcurrentHashMap<>();
result.getAggregations().getAsMap().forEach((key, value) -> {
agg.put(key, ((Sum) value).getValue());
});
vehicleAggregationDto.setAggregation(agg);
return vehicleAggregationDto;
}



## 分页

@Autowiredprivate ElasticsearchRestTemplate template;

@PostMapping("/page")
public List findVehiclePage(@RequestBody FindVehiclePageParam param) {
NativeSearchQuery query = new NativeSearchQueryBuilder()
// .withQuery(QueryBuilders.matchAllQuery())
.withQuery(QueryBuilders.matchQuery("plate_number", param.getPlateNumber()))
.withPageable(PageRequest.of(0, param.getPageSize()))
.withSort(SortBuilders.fieldSort("id"))
.build();
SearchHits result = template.search(query, Vehicle.class);
List lists = result.getSearchHits().stream().map(SearchHit::getContent).collect(Collectors.toList());
return lists;
}

~~~

引用

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
目录
相关文章
|
3月前
|
数据可视化 Java Windows
Elasticsearch入门-环境安装ES和Kibana以及ES-Head可视化插件和浏览器插件es-client
本文介绍了如何在Windows环境下安装Elasticsearch(ES)、Elasticsearch Head可视化插件和Kibana,以及如何配置ES的跨域问题,确保Kibana能够连接到ES集群,并提供了安装过程中可能遇到的问题及其解决方案。
Elasticsearch入门-环境安装ES和Kibana以及ES-Head可视化插件和浏览器插件es-client
|
5月前
|
存储 自然语言处理 算法
面试题ES问题之Solr和Elasticsearch功能实现如何解决
面试题ES问题之Solr和Elasticsearch功能实现如何解决
65 2
|
2月前
|
存储 JSON Java
elasticsearch学习一:了解 ES,版本之间的对应。安装elasticsearch,kibana,head插件、elasticsearch-ik分词器。
这篇文章是关于Elasticsearch的学习指南,包括了解Elasticsearch、版本对应、安装运行Elasticsearch和Kibana、安装head插件和elasticsearch-ik分词器的步骤。
226 0
elasticsearch学习一:了解 ES,版本之间的对应。安装elasticsearch,kibana,head插件、elasticsearch-ik分词器。
|
7月前
|
Oracle 关系型数据库 API
实时计算 Flink版产品使用合集之当sink到elasticsearch时,可以指定es的指定字段吗
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
实时计算 Flink版产品使用合集之当sink到elasticsearch时,可以指定es的指定字段吗
|
2月前
|
自然语言处理 搜索推荐 Java
SpringBoot 搜索引擎 海量数据 Elasticsearch-7 es上手指南 毫秒级查询 包括 版本选型、操作内容、结果截图(一)
SpringBoot 搜索引擎 海量数据 Elasticsearch-7 es上手指南 毫秒级查询 包括 版本选型、操作内容、结果截图
59 0
|
2月前
|
存储 自然语言处理 搜索推荐
SpringBoot 搜索引擎 海量数据 Elasticsearch-7 es上手指南 毫秒级查询 包括 版本选型、操作内容、结果截图(二)
SpringBoot 搜索引擎 海量数据 Elasticsearch-7 es上手指南 毫秒级查询 包括 版本选型、操作内容、结果截图(二)
45 0
|
3月前
|
JSON 自然语言处理 数据库
ElasticSearch基础1——索引和文档。Kibana,RestClient操作索引和文档+黑马旅游ES库导入
概念、ik分词器、倒排索引、索引和文档的增删改查、RestClient对索引和文档的增删改查
ElasticSearch基础1——索引和文档。Kibana,RestClient操作索引和文档+黑马旅游ES库导入
|
4月前
|
Java 开发工具 Spring
【Azure 事件中心】azure-spring-cloud-stream-binder-eventhubs客户端组件问题, 实践消息非顺序可达
【Azure 事件中心】azure-spring-cloud-stream-binder-eventhubs客户端组件问题, 实践消息非顺序可达
|
5月前
|
负载均衡 监控 搜索推荐
面试题ES问题之Solr和Elasticsearch在分布式管理上如何解决
面试题ES问题之Solr和Elasticsearch在分布式管理上如何解决
43 1
|
4月前
|
自然语言处理 Java 索引
ElasticSearch 实现分词全文检索 - Java SpringBoot ES 文档操作
ElasticSearch 实现分词全文检索 - Java SpringBoot ES 文档操作
47 0