AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

elasticsearch学习五：springboot整合 rest 操作elasticsearch的 实际案例操作，编写搜索的前后端，爬取京东数据到elasticsearch中。

2024-10-17 851
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
Elasticsearch Serverless通用抵扣包，测试体验金 200元
简介： 这篇文章是关于如何使用Spring Boot整合Elasticsearch，并通过REST客户端操作Elasticsearch，实现一个简单的搜索前后端，以及如何爬取京东数据到Elasticsearch的案例教程。

前言

  • 前面学习了elasticsearch的安装和操作，接下来就学习一下springboot整合elasticsearch的全文检索框，并实现高亮。前端使用 thymeleaf +vue简单骚操作。

  • 代码已上传到GitHub： https://github.com/fengfanli/springboot-elasticsearch代码为 elasticsearch-jingdongSearch模块

  • 数据就重京东上进行爬取。

一、项目案例展示

  • 项目很简单，就一个页面如下所示，现在要在文本框输入，然后搜索
    在这里插入图片描述

  • 搜索结果是在elasticsearch中获取的，如下显示，搜索的关键字还要高亮显示。
    在这里插入图片描述

  • elasticsearch中的数据是从京东上爬起下来的，非常简单，是 com.feng.es.utils.HtmlParseUtil这个类来完成数据爬取的。
    在这里插入图片描述

二、pom.xml依赖

1. 版本说明

springboot 2.2.5.RELEASE
elasticsearch 6.4.2
kibana 6.4.2
spring-boot-starter-data-elasticsearch 包也在 properties 中定义为 6.4.2
我这里把这个实际操作和上两个博客的学习篇，放到了一起，一共三个module。

2. 添加的依赖

    <properties>
        <java.version>1.8</java.version>
        <!-- 自己定义 es 版本依赖，保证和本地一致-->
        <elasticsearch.version>6.4.2</elasticsearch.version>
    </properties>

    <dependencies>
        <!--jsoup 解析网页-->
        <!--解析网页 jsoup-->
        <dependency>
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.10.2</version>
        </dependency>

        <!--导入 elasticsearch -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
        </dependency>
        <!--导入 thymeleaf -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-thymeleaf</artifactId>
        </dependency>
    </dependencies>

3. 父项目的pom依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.2.5.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>

    <groupId>com.feng.es</groupId>
    <artifactId>springboot-elasticsearch</artifactId>
    <packaging>pom</packaging>
    <version>1.0-SNAPSHOT</version>

    <modules>
        <module>elasticsearch-transport</module>
        <module>elasticsearch-rest</module>
        <module>elasticsearch-jingdongSearch</module>
    </modules>

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-devtools</artifactId>
            <scope>runtime</scope>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.16.16</version>
        </dependency>

        <!--alibaba fastjson-->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.38</version>
        </dependency>
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-lang3</artifactId>
            <version>3.4</version>
        </dependency>
    </dependencies>
</project>

4. 子项目 elasticsearch-jingdongSearch 的pom依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <artifactId>springboot-elasticsearch</artifactId>
        <groupId>com.feng.es</groupId>
        <version>1.0-SNAPSHOT</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.feng.es</groupId>
    <artifactId>elasticsearch-jingdongSearch</artifactId>

    <properties>
        <java.version>1.8</java.version>
        <!-- 自己定义 es 版本依赖，保证和本地一致-->
        <elasticsearch.version>6.4.2</elasticsearch.version>
    </properties>

    <dependencies>
        <!--jsoup 解析网页-->
        <!--解析网页 jsoup-->
        <dependency>
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.10.2</version>
        </dependency>

        <!--导入 elasticsearch -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
        </dependency>
        <!--导入 thymeleaf -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-thymeleaf</artifactId>
        </dependency>
    </dependencies>

</project>

二、目录结构

1. 项目目录

在这里插入图片描述
稍微解释一下：
Content：POJO类，存放图片的实体类，图片image为URL
ESConfig：elasticsearch的配置类
controller：控制器
service：业务层
utils：重点类，爬取京东数据到elasticsearch的主要类

2. 创建ES 索引

进入elasticsearch-head 的 Chrome插件。
创建一个 goods_index 的索引，用于存放从京东爬取下来的数据。
在这里插入图片描述
出现如下图所示的提示框，则索引创建成功。
在这里插入图片描述

三、爬取京东数据到elasticsearch

1. 找到数据源

2. 分析数据源

3. 写入到elasticsearch

四、目录代码

1. POJO类Content

@Data
@NoArgsConstructor
@AllArgsConstructor
public class Content {
    private String img;

    private String price;

    private String title;
}

2. ESConfig 配置类

@Data
@Configuration
@ConfigurationProperties(prefix = "elasticsearch")
public class ESConfig {

    private String hostname;

    private String port;

    private String scheme;

    @Bean
    public RestHighLevelClient restHighLevelClient(){
        RestHighLevelClient client = new RestHighLevelClient(
                RestClient.builder(new HttpHost(hostname, Integer.valueOf(port), scheme)));
        return client;
    }
}

3. ContentService业务接口类

package com.feng.es.service;

import java.io.IOException;
import java.util.List;
import java.util.Map;

public interface ContentService {

    // 解析 关键词
    Boolean parseContent(String keywords) throws IOException;

    // 搜索
    List<Map<String,Object>> searchPage(String keyword, int pageNo, int pageSize);

    // 搜索并高亮
    List<Map<String,Object>> searchPageHighlight(String keyword, int pageNo, int pageSize);
}

4. ContentService业务实现类

package com.feng.es.service.impl;

import com.alibaba.fastjson.JSON;
import com.feng.es.bean.Content;
import com.feng.es.service.ContentService;
import com.feng.es.utils.HtmlParseUtil;
import org.elasticsearch.action.bulk.BulkRequest;
import org.elasticsearch.action.bulk.BulkResponse;
import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.common.text.Text;
import org.elasticsearch.common.unit.TimeValue;
import org.elasticsearch.common.xcontent.XContentType;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.index.query.TermsQueryBuilder;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.builder.SearchSourceBuilder;
import org.elasticsearch.search.fetch.subphase.highlight.HighlightBuilder;
import org.elasticsearch.search.fetch.subphase.highlight.HighlightField;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.stereotype.Service;

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;
import java.util.concurrent.TimeUnit;

@Service
public class ContentServiceImpl implements ContentService {

    @Autowired
    @Qualifier("restHighLevelClient")
    private RestHighLevelClient client;

    /**
     * @Author fengfanli
     * @Description //TODO 将关键词在京东中搜索出来的数据 放到 elasticsearch 中
     * @Date 18:21 2021/1/18
     * @Param [keywords]
     * @return java.lang.Boolean
     **/
    @Override
    public Boolean parseContent(String keywords) throws IOException {
        List<Content> contents = HtmlParseUtil.parseJD(keywords);
        // 把查询的数据放入到 es 中
        BulkRequest bulkRequest = new BulkRequest();
        bulkRequest.timeout("2m");

        for (int i = 0; i < contents.size(); i++){
            bulkRequest.add(new IndexRequest("goods_index")
                    .type("_doc")
                    .source(JSON.toJSONString(contents.get(i)), XContentType.JSON));
        }
        BulkResponse bulk = client.bulk(bulkRequest, RequestOptions.DEFAULT);
        return !bulk.hasFailures();  //bulk.hasFailures(): 返回false，代表成功
    }

    /**
     * @Author fengfanli
     * @Description //TODO 获取这些数据 实现搜索功能
     * @Date 18:22 2021/1/18
     * @Param [keyword, pageNo, pageSize]
     * @return java.util.List<java.util.Map<java.lang.String,java.lang.Object>>
     **/
    @Override
    public List<Map<String, Object>> searchPage(String keyword, int pageNo, int pageSize) {
        if (pageNo<=1){
            pageNo=1;
        }
        // 条件搜索
        SearchRequest searchRequest = new SearchRequest("goods_index");
        SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();

        // 分页
        searchSourceBuilder.from(pageNo);
        searchSourceBuilder.size(pageSize);

        // 精准匹配
        TermsQueryBuilder termsQueryBuilder = QueryBuilders.termsQuery("title", keyword);
        searchSourceBuilder.query(termsQueryBuilder);
        searchSourceBuilder.timeout(new TimeValue(60, TimeUnit.SECONDS));

        // 执行搜索
        searchRequest.source(searchSourceBuilder);
        ArrayList<Map<String, Object>> list = new ArrayList<>();
        try {
            SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);
            // 解析结果
            SearchHit[] hits = searchResponse.getHits().getHits();
            for (SearchHit documentFields : hits){
                list.add(documentFields.getSourceAsMap());
            }
        } catch (IOException e) {
            e.printStackTrace();
            System.out.println(e.getLocalizedMessage());
        }
        return list;
    }

    /**
     * 获取这些数据 实现搜索功能
     * @param keyword
     * @param pageNo
     * @param pageSize
     * @return
     */
    @Override
    public List<Map<String, Object>> searchPageHighlight(String keyword, int pageNo, int pageSize) {
        if (pageNo<=1){
            pageNo=1;
        }
        // 条件搜索
        SearchRequest searchRequest = new SearchRequest("goods_index");
        SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();

        // 分页
        searchSourceBuilder.from(pageNo);
        searchSourceBuilder.size(pageSize);

        // 精准匹配
        TermsQueryBuilder termsQueryBuilder = QueryBuilders.termsQuery("title", keyword);
        searchSourceBuilder.query(termsQueryBuilder);
        searchSourceBuilder.timeout(new TimeValue(60, TimeUnit.SECONDS));

        // 高亮
        HighlightBuilder highlightBuilder = new HighlightBuilder();
        highlightBuilder.field("title");
        highlightBuilder.requireFieldMatch(false); // 多个高亮显示！
        highlightBuilder.preTags("<span style= 'color:red'>");
        highlightBuilder.postTags("</span>");
        searchSourceBuilder.highlighter(highlightBuilder);

        // 执行搜索
        searchRequest.source(searchSourceBuilder);
        ArrayList<Map<String, Object>> list = new ArrayList<>();
        try {
            SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);
            // 解析结果
            SearchHit[] hits = searchResponse.getHits().getHits();
            for (SearchHit hit : hits){
                Map<String, HighlightField> highlightFields = hit.getHighlightFields(); // 获取高亮字段
                HighlightField title = highlightFields.get("title");
                Map<String, Object> sourceAsMap = hit.getSourceAsMap(); // 获取结果集
                // 解析高亮的字段，将原来的字段替换为我们高亮的字段即可！
                if (title != null){
                    // 如果高亮字段存在
                    Text[] fragments = title.fragments(); // 取出高亮字段
                    String new_title = "";                // 新高亮标题
                    for (Text text : fragments){
                        new_title += text;
                    }
                    sourceAsMap.put("title", new_title);
                }
                list.add(sourceAsMap);
            }
        } catch (IOException e) {
            System.out.println(e.getLocalizedMessage());
        }
        return list;
    }
}

5. IndexController 视图控制器

@Controller
public class IndexController {

    @GetMapping({"/", "/index"})
    public String index(){
        return "index";
    }
}

6. ContentController数据控制器

package com.feng.es.controller;

import com.feng.es.service.ContentService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Controller;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.PathVariable;
import org.springframework.web.bind.annotation.ResponseBody;

import java.io.IOException;
import java.util.List;
import java.util.Map;

@Controller
public class ContentController {

    @Autowired
    private ContentService contentService;

    /**
     * 往 es 中添加数据
     * @param keyword
     * @return
     * @throws IOException
     */
    @ResponseBody
    @GetMapping("/parse/{keyword}")
    public Boolean parse(@PathVariable("keyword") String keyword) throws IOException {
        return contentService.parseContent(keyword);
    }

    /**
     * 检索
     * @param keyword
     * @param pageNo
     * @param pageSize
     * @return
     */
    @ResponseBody
    @GetMapping("/search/{keyword}/{pageNo}/{pageSize}")
    public List<Map<String, Object>> search(@PathVariable("keyword") String keyword,
                                            @PathVariable("pageNo") Integer pageNo,
                                            @PathVariable("pageSize") Integer pageSize){
        return contentService.searchPage(keyword, pageNo, pageSize);
    }

    /**
     * 检索高亮
     * @param keyword
     * @param pageNo
     * @param pageSize
     * @return
     */
    @ResponseBody
    @GetMapping("/searchHight/{keyword}/{pageNo}/{pageSize}")
    public List<Map<String, Object>> searcHighlight(@PathVariable("keyword") String keyword,
                                            @PathVariable("pageNo") Integer pageNo,
                                            @PathVariable("pageSize") Integer pageSize){
        return contentService.searchPageHighlight(keyword, pageNo, pageSize);
    }
}

五. 控制器接口测试并分析

  1. http://localhost:9090/parse/java
    此接口就是将关键词 java 在京东上搜索的数据存放到elasticsearch中
    在这里插入图片描述
    可以在elasticsearch-head 插件中查看数据，都是java 相关数据。
    在这里插入图片描述
    可以多添加几个关键词的数据

  2. http://localhost:9090/search/java/1/10
    查找关键字 java 的数据并分页。1和10 为分页数据
    在这里插入图片描述

  3. http://localhost:9090/searchHight/java/1/10
    查找关键字 java 的数据并分页。1和10 为分页数据，并对关键词进行高亮显示，返回的数据关键词被HTML所包含，在vue中，直接渲染即可。
    在这里插入图片描述

文章标签：
检索分析服务 Elasticsearch版
云解析DNS
Java
网络架构
索引
JavaScript
Web App开发
关键词：
检索分析服务 Elasticsearch版搜索
elasticsearch Spring Boot
检索分析服务 Elasticsearch版springboot
Spring Boot数据
检索分析服务 Elasticsearch版数据
相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务，构建一个高效、精准的语义搜索系统，模拟电商场景，深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch（Elastic）就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch，如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理，最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。 &nbsp;
java冯坚持
目录
相关文章
魔羯座liaotianfeile
|
1月前
|
缓存 监控 前端开发
顺企网 API 开发实战：搜索 / 详情接口从 0 到 1 落地（附 Elasticsearch 优化 + 错误速查）
企业API开发常陷参数、缓存、错误处理三大坑？本指南拆解顺企网双接口全流程，涵盖搜索优化、签名验证、限流应对，附可复用代码与错误速查表，助你2小时高效搞定开发，提升响应速度与稳定性。
魔羯座liaotianfeile
112 2
sysin
|
1月前
|
存储 Linux iOS开发
Elasticsearch Enterprise 9.1.5 发布 - 分布式搜索和分析引擎
Elasticsearch Enterprise 9.1.5 (macOS, Linux, Windows) - 分布式搜索和分析引擎
sysin
249 0
JJLIN距离
|
2月前
|
JSON 监控 Java
Elasticsearch 分布式搜索与分析引擎技术详解与实践指南
本文档全面介绍 Elasticsearch 分布式搜索与分析引擎的核心概念、架构设计和实践应用。作为基于 Lucene 的分布式搜索引擎，Elasticsearch 提供了近实时的搜索能力、强大的数据分析功能和可扩展的分布式架构。本文将深入探讨其索引机制、查询 DSL、集群管理、性能优化以及与各种应用场景的集成，帮助开发者构建高性能的搜索和分析系统。
JJLIN距离
269 0
存储 JSON Java
481 0
星兽
|
4月前
|
JSON Java 数据格式
Spring Boot返回Json数据及数据封装
在Spring Boot中，接口间及前后端的数据传输通常使用JSON格式。通过@RestController注解，可轻松实现Controller返回JSON数据。该注解是Spring Boot新增的组合注解，结合了@Controller和@ResponseBody的功能，默认将返回值转换为JSON格式。Spring Boot底层默认采用Jackson作为JSON解析框架，并通过spring-boot-starter-json依赖集成了相关库，包括jackson-databind、jackson-datatype-jdk8等常用模块，简化了开发者对依赖的手动管理。
星兽
537 3
sysin
|
6月前
|
存储 安全 Linux
Elasticsearch Enterprise 9.0 发布 - 分布式搜索和分析引擎
Elasticsearch Enterprise 9.0 (macOS, Linux, Windows) - 分布式搜索和分析引擎
sysin
302 0
sysin
|
6月前
|
存储 Linux iOS开发
Elasticsearch Enterprise 8.18 发布 - 分布式搜索和分析引擎
Elasticsearch Enterprise 8.18 (macOS, Linux, Windows) - 分布式搜索和分析引擎
sysin
254 0
Quan_Chen
|
8月前
|
JSON Java 数据格式
微服务——SpringBoot使用归纳——Spring Boot返回Json数据及数据封装——封装统一返回的数据结构
本文介绍了在Spring Boot中封装统一返回的数据结构的方法。通过定义一个泛型类`JsonResult&lt;T&gt;`，包含数据、状态码和提示信息三个属性，满足不同场景下的JSON返回需求。例如，无数据返回时可设置默认状态码&quot;0&quot;和消息&quot;操作成功！&quot;，有数据返回时也可自定义状态码和消息。同时，文章展示了如何在Controller中使用该结构，通过具体示例（如用户信息、列表和Map）说明其灵活性与便捷性。最后总结了Spring Boot中JSON数据返回的配置与实际项目中的应用技巧。
Quan_Chen
690 0
计算机程序设计Y2013070224
|
1月前
|
JavaScript 安全 Java
基于springboot的大学生兼职系统
本课题针对大学生兼职信息不对称、权益难保障等问题，研究基于Spring Boot、Vue、MySQL等技术的兼职系统，旨在构建安全、高效、功能完善的平台，提升大学生就业竞争力与兼职质量。
计算机程序设计Y2013070224
193 11

热门文章

最新文章

  • 1
    顺企网 API 开发实战：搜索 / 详情接口从 0 到 1 落地（附 Elasticsearch 优化 + 错误速查）
  • 2
    基于springboot的宠物领养系统
  • 3
    基于springboot的大学生兼职系统
  • 4
    SpringBoot启动时连接Redis报错：ERR This instance has cluster support disabled - 如何解决？
  • 5
    万字长文：一文彻底搞懂Elasticsearch中Geo数据类型查询、聚合、排序
  • 6
    好消息！Elasticsearch中也可以使用机器学习了
  • 7
    kibana 报错 elasticsearch service Unavailable
  • 8
    【玩转ElasticSearch】降维打击！使用ElasticSearch作为时序数据库
  • 9
    带你领略基于ELK+Kafka的日志分析系统和Elasticsearch运维实践
  • 10
    基于阿里云Elasticsearch打造强大的可观测性平台
  • 1
    基于Java 17 + Spring Boot 3.2 + Flink 1.18的智慧实验室管理系统核心代码
    338
  • 2
    Spring boot 使用mybatis generator 自动生成代码插件
    1017
  • 3
    较为完整的SpringBoot项目结构
    3657
  • 4
    Java 21 与 Spring Boot 3.2 微服务开发从入门到精通实操指南
    659
  • 5
    📨 Spring Boot 3 整合 MQ 构建聊天消息存储系统
    591
  • 6
    SpringBoot之异步调用@Ansyc
    463
  • 7
    SpringBoot2.3.1集成Knife4j接口文档
    562
  • 8
    springboot+redis互联网医院智能导诊系统源码，基于医疗大模型、知识图谱、人机交互方式实现
    420
  • 9
    JPA简介：Spring Boot环境下的实践指南
    219
  • 10
    Spring Boot 可视化监控
    993

    • 相关课程

    更多
  • 微服务+全栈在线教育实战项目演练（SpringCloud Alibaba+SpringBoot）
  • SpringBoot实战教程
  • SpringBoot快速掌握 - 核心技术
  • SpringBoot快速掌握 - 高级应用
  • Springboot项目云开发快速迁移

    • 相关电子书

    更多
  • 阿里云Elasticsearch体系架构与特性解析
  • 开源与云：Elasticsearch应用剖析
  • 《Elasticsearch全观测解决方案》
    • 下一篇
    阿里云弹性公网IP线路类型【BGP(多线)_精品】是什么意思？