Elastic实战:彻底解决spring-data-elasticsearch查询结果size大于0但显示为空问题

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 我们在使用spring-data-elasticsearch,可能会出现查询结果为null,但返回的数据size是大于0的。或者某一部分字段有值,某一部分字段为null其结果如下图所示,那么这个问题是怎么产生的呢?今天我们就来详细解析

0. 引言

我们在使用spring-data-elasticsearch,可能会出现查询结果为null,但返回的数据size是大于0的。或者某一部分字段有值,某一部分字段为null

其结果如下图所示,那么这个问题是怎么产生的呢?今天我们就来详细解析
在这里插入图片描述

1. 问题分析

因为我们使用的是spring-data-elasticsearch,在实体类中已经用@Field注解声明了实体类与es索引mapping之间的映射关系,但是从查询结果来看,数据是已经查询出来了,不然size也不会大于0.
在这里插入图片描述

那么问题就在于实体类与es索引之间的映射关系没有生效。于是我们下一步就是去探索为什么没有生效的原因。

2.问题解决

2.1 实体类与es mapping中的属性名保持一致

仔细观察数据我们会发现,并不是所有的字段都没有对应上,实体类和索引同名的字段值都是正常显示的,但不同名的就没有正常显示。

那么最简单的解决办法就是将实体类中的属性名与es索引中的属性名保持一致,这样就能直接对应上了

但这个方法我不太推荐,因为有的时候mapping可能已经创建好了并且已经在之前的代码中使用了,不可能再去调整之前的代码。于是我们引入了第二种解决方案

2.2 使用@JsonProperty给实体类属性添加别名

既然是实体类名称与es mapping中的名称不一致,那么我们可以通过添加@JsonProperty注解来给实体类中的属性设置别名,其别名与es mapping保持一致即可
比如

@JsonProperty("project_id”)
private Long projectId;

但这个方法会导致我们输出给前端的属性名称也是@JsonProperty中声明的名称,有的时候我们就是想要使用实体类的名称,而且每个字段中都添加上这么一个注解,也实在太累。不是“懒人”的风格。说到底,并没有解决我们的根本问题:明明已经在实体类中@Field注解上声明了es mapping中的字段名,为什么不能利用@Field注解来自动转换呢?

2.3 使用ElasticsearchEntityMapper替换默认的EntityMapper

在实现第三种方案前,我们先把问题的原因分析清楚,先找到spring-data-elasticsearch将查询到的es结果与实体类对应的代码位置

我们从源头开始追溯,我们是通过调用queryForPage方法来实现查询的,那么找到该方法的源码
在这里插入图片描述
从方法名称可以猜出其通过一个mapper,mapResults方法来实现索引与实体类的映射,我们点击进mapResults方法看看
在这里插入图片描述
发现这是一个接口类,该接口下有两个实现类,我们点击进默认的DefaultResultMapper去看看
在这里插入图片描述
会发现该类的mapResults方法下使用了一个mapEntity方法来进行索引与实体类的映射
(不常阅读源码的同学可能会有疑惑,你怎么知道这个方法是用来做索引和实体类的映射的?其实先是凭借经验去猜,我们通过查看方法名也能猜的八九不离十了,mapEntity,译为映射实体类。,还要更直白些吗?这也提示我们,写书代码时方法名一定要能反映业务逻辑)
在这里插入图片描述
进入该方法,发现这是个接口类,并且调用了getEntityMapper()方法的mapToObject方法。不用说这个mapToObject方法一定是映射方法了
在这里插入图片描述
该方法是一个EntityMapper接口提供,该接口下提供了两个实现类
在这里插入图片描述
这个时候,有经验的同学可能已经嗅到一丝气息了。从这个命名来看,DefaultEntityMapper明显是默认的EntityMapper,也就是说默认是使用该类提供的映射方法。而ElasticsearchEntityMapper才是es相关的映射方法

这个时候其实问题已经解决大部分了,如果你不想继续阅读源码的话,可以直接搜索该类的作用已经两个实现类之间的区别。很快就能得出答案。

之后的代码比较晦涩且链路较长,我就不带大家详细解读了,给出调用过程,有兴趣的同学可以自己去翻翻
在这里插入图片描述
从该调用过程可以知道,ElasticsearchEntityMapper中使用识别@Field注解的,而DefaultEntityMapper会忽略该注解,因此我们需要做的就是在项目中显示声明使用ElasticsearchEntityMapper

配置方法也不难,就是创建一个配置类,在elasticsearchRestTemplate这个Bean的声明方法中将ElasticsearchEntityMapper作为参数传入。后续使用elasticsearchRestTemplate时就会使用ElasticsearchEntityMapper作为映射方法提供类

同时声明注解@EnableElasticsearchRepositories(basePackages = "com.example.esdemo"),表明spring-data-elasticsearch方式声明的Repositories类也将使用ElasticsearchEntityMapper

package org.springblade.statistic.conf;
 
import org.elasticsearch.client.RestHighLevelClient;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.core.convert.support.DefaultConversionService; 
import org.springframework.data.elasticsearch.client.ClientConfiguration;
import org.springframework.data.elasticsearch.client.RestClients;
import org.springframework.data.elasticsearch.config.AbstractElasticsearchConfiguration;
import org.springframework.data.elasticsearch.core.ElasticsearchEntityMapper;
import org.springframework.data.elasticsearch.core.ElasticsearchRestTemplate;
import org.springframework.data.elasticsearch.core.EntityMapper; 
import org.springframework.data.elasticsearch.repository.config.EnableElasticsearchRepositories;
import org.springframework.http.HttpHeaders; 
/**
 * @author whx
 * @date 2022/5/23
 */
@Configuration
@EnableElasticsearchRepositories(basePackages = "com.example.esdemo")
public class ElasticRestClientConfig extends AbstractElasticsearchConfiguration {

    @Value("${spring.elasticsearch.rest.uris}")
    private String url;
    @Value("${spring.elasticsearch.rest.username}")
    private String username;
    @Value("${spring.elasticsearch.rest.password}")
    private String password;

    @Override
    @Bean
    public RestHighLevelClient elasticsearchClient() {
        url = url.replace("http://","");
        HttpHeaders headers = new HttpHeaders();
        headers.setBasicAuth(username,password);
        final ClientConfiguration clientConfiguration = ClientConfiguration.builder()
            .connectedTo(url)
            .withDefaultHeaders(headers)
            .build();
        return RestClients.create(clientConfiguration).rest();
    }

    @Bean
    public ElasticsearchRestTemplate elasticsearchRestTemplate(RestHighLevelClient elasticsearchClient,EntityMapper entityMapper){
        return new ElasticsearchRestTemplate(elasticsearchClient,entityMapper);
    }

    /**
     * 指定EntityMapper为ElasticsearchEntityMapper
     * 解决es mapper映射实体类问题
     * @return
     */
    @Bean
    @Override
    public EntityMapper entityMapper() {
        ElasticsearchEntityMapper entityMapper = new ElasticsearchEntityMapper(elasticsearchMappingContext(), new DefaultConversionService());
        entityMapper.setConversions(elasticsearchCustomConversions());
        return entityMapper;
    }
}

如果你觉得本文对你的学习有帮助的话,不妨点赞支持一下吧

关注公众号 Elasticsearch之家,掌握更多新鲜内容

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
目录
相关文章
|
27天前
|
SQL Java 数据库连接
spring和Mybatis的各种查询
Spring 和 MyBatis 的结合使得数据访问层的开发变得更加简洁和高效。通过以上各种查询操作的详细讲解,我们可以看到 MyBatis 在处理简单查询、条件查询、分页查询、联合查询和动态 SQL 查询方面的强大功能。熟练掌握这些操作,可以极大提升开发效率和代码质量。
43 3
|
2月前
|
自然语言处理 Java API
Spring Boot 接入大模型实战:通义千问赋能智能应用快速构建
【10月更文挑战第23天】在人工智能(AI)技术飞速发展的今天,大模型如通义千问(阿里云推出的生成式对话引擎)等已成为推动智能应用创新的重要力量。然而,对于许多开发者而言,如何高效、便捷地接入这些大模型并构建出功能丰富的智能应用仍是一个挑战。
284 6
|
2月前
|
缓存 NoSQL Java
Spring Boot与Redis:整合与实战
【10月更文挑战第15天】本文介绍了如何在Spring Boot项目中整合Redis,通过一个电商商品推荐系统的案例,详细展示了从添加依赖、配置连接信息到创建配置类的具体步骤。实战部分演示了如何利用Redis缓存提高系统响应速度,减少数据库访问压力,从而提升用户体验。
156 2
|
2月前
|
存储 JSON 监控
大数据-167 ELK Elasticsearch 详细介绍 特点 分片 查询
大数据-167 ELK Elasticsearch 详细介绍 特点 分片 查询
61 4
|
2月前
|
Java 数据库连接 Spring
【2021Spring编程实战笔记】Spring开发分享~(下)
【2021Spring编程实战笔记】Spring开发分享~(下)
36 1
|
2月前
|
XML Java 数据格式
Spring IOC容器的深度解析及实战应用
【10月更文挑战第14天】在软件工程中,随着系统规模的扩大,对象间的依赖关系变得越来越复杂,这导致了系统的高耦合度,增加了开发和维护的难度。为解决这一问题,Michael Mattson在1996年提出了IOC(Inversion of Control,控制反转)理论,旨在降低对象间的耦合度,提高系统的灵活性和可维护性。Spring框架正是基于这一理论,通过IOC容器实现了对象间的依赖注入和生命周期管理。
80 0
|
2月前
|
XML Java 数据库连接
【2020Spring编程实战笔记】Spring开发分享~(上)
【2020Spring编程实战笔记】Spring开发分享~
60 0
|
2月前
|
自然语言处理 搜索推荐 Java
SpringBoot 搜索引擎 海量数据 Elasticsearch-7 es上手指南 毫秒级查询 包括 版本选型、操作内容、结果截图(一)
SpringBoot 搜索引擎 海量数据 Elasticsearch-7 es上手指南 毫秒级查询 包括 版本选型、操作内容、结果截图
64 0
|
2月前
|
存储 自然语言处理 搜索推荐
SpringBoot 搜索引擎 海量数据 Elasticsearch-7 es上手指南 毫秒级查询 包括 版本选型、操作内容、结果截图(二)
SpringBoot 搜索引擎 海量数据 Elasticsearch-7 es上手指南 毫秒级查询 包括 版本选型、操作内容、结果截图(二)
45 0
|
3月前
|
JSON 自然语言处理 算法
ElasticSearch基础2——DSL查询文档,黑马旅游项目查询功能
DSL查询文档、RestClient查询文档、全文检索查询、精准查询、复合查询、地理坐标查询、分页、排序、高亮、黑马旅游案例