Elasticsearch 如何实现索引的伪·命名空间

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: Elasticsearch 如何实现索引的伪·命名空间

环境说明

  • jdk8
  • elasticsearch7.4.0
  • springboot 2.3.12.RELEASE
  • spring-data-elasticsearch 4.0.9.RELEASE

注:本文不做特殊说明的情况下,client1与client2使用相同配置

应用场景

在公司内部资源紧张的情况下,多个项目使用同一个elasticsearch并且数据互不干扰,实现资源的最大化利用,节约成本

集成Elasticsearch

pom(client1与client2相同)

   <parent>

       <groupId>org.springframework.boot</groupId>

       <artifactId>spring-boot-starter-parent</artifactId>

       <version>2.3.12.RELEASE</version>

       <relativePath/> <!-- lookup parent from repository -->

   </parent>

   <properties>

       <java.version>1.8</java.version>

   </properties>

   <dependencies>

       <dependency>

           <groupId>org.springframework.boot</groupId>

           <artifactId>spring-boot-starter-web</artifactId>

       </dependency>


       <dependency>

           <groupId>org.springframework.boot</groupId>

           <artifactId>spring-boot-starter-test</artifactId>

           <scope>test</scope>

       </dependency>

       <dependency>

           <groupId>org.springframework.data</groupId>

           <artifactId>spring-data-elasticsearch</artifactId>

           <version>4.0.9.RELEASE</version>

       </dependency>

   </dependencies>


config(client1与client2相同)

@Configuration

public class RestClientConfig extends AbstractElasticsearchConfiguration {

   @Bean

   @Override

   public RestHighLevelClient elasticsearchClient() {

       final ClientConfiguration clientConfiguration = ClientConfiguration.builder()

               .connectedTo("localhost:9200")

               .build();


       return RestClients.create(clientConfiguration).rest();

   }

}


yml

client1

spring.data.elasticsearch.client.namespace=client1

server.port=8081

client2

spring.data.elasticsearch.client.namespace=client2

server.port=8082

索引名定义(client1与client2相同)

  • 定义变量获取

@Configuration

public class EsConst {

   @Value("${spring.data.elasticsearch.client.namespace}")

   private String elasticsearchNamespace;

   @Bean

   public String getElasticsearchNamespace(){

       return elasticsearchNamespace;

   }

}

  • 新建User 实体类,指定索引名称为namespace.user

@Document(indexName = "#{@getElasticsearchNamespace}.user")

public class User {

   @Field(type = FieldType.Text)

   private String id;

   @Field(type = FieldType.Text)

   private String name;

   @Field(type = FieldType.Text)

   private String phone;

   @Field(type = FieldType.Text)

   private String namespace;


// 省略get/set ......

}


增加测试方法findAll与save

client1

  • Dao

@Repository

public interface UserDao extends CrudRepository<User,String> {

}

  • Service

@Service

public class TestService {

   @Autowired

   private UserDao userDao;

   public void findAll(){

       Iterable<User> all = userDao.findAll();


       Iterator<User> iterator = userDao.findAll().iterator();

       User next1 = iterator.next();


       System.out.println(next1.toString());

   }

   public void save(){

       User user = new User();

       user.setId("1");

       user.setName("client1");

       user.setNamespace("elasticsearch:client1");

       user.setPhone("111");

       User save = userDao.save(user);

       System.out.println(save.toString());

   }

}


  • Test

@RunWith(SpringRunner.class)

@SpringBootTest

public class ClientApplicationTests {

   @Autowired

   private TestService testService;

   @Test

   public void findAll(){

       testService.findAll();

   }

   @Test

   public void save(){

       testService.save();

   }

}


client2

  • Dao

@Repository

public interface UserDao extends CrudRepository<User,String> {

}

  • Service

@Service

public class TestService {

   @Autowired

   private UserDao userDao;

   public void findAll(){

       Iterable<User> all = userDao.findAll();


       Iterator<User> iterator = userDao.findAll().iterator();

       User next1 = iterator.next();


       System.out.println(next1.toString());

   }

   public void save(){

       User user = new User();

       user.setId("2");

       user.setName("client2");

       user.setNamespace("elasticsearch:client2");

       user.setPhone("222");

       User save = userDao.save(user);

       System.out.println(save.toString());

   }

}

  • Test

@RunWith(SpringRunner.class)

@SpringBootTest

public class DemoApplicationTests {

 @Autowired

 private TestService testService;

 @Test

 public void findAll(){

   testService.findAll();

 }

 @Test

 public void save(){

   testService.save();

 }

}

测试验证

  • 预期结果
  • 生成client1.user与client2.user索引
  • 访问8081返回client1用户信息,访问8082返回client2用户信息
  • 实际结果

 

总结

我们通过增加一个配置类来获取自定义的namespace,然后在类指定索引名时通过获取变量的形式去读取,这样生成的索引就会带一个前缀,也就是我们想要的namespace·,也就实现了我们最初的目标,复用同一个elasticsearch,达到节省服务器资源的目的

源码地址

参考链接

SpringDataElasticsearch

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
目录
相关文章
|
2月前
|
存储 自然语言处理 关系型数据库
ElasticSearch索引 和MySQL索引那个更高效实用那个更合适
ElasticSearch索引 和MySQL索引那个更高效实用那个更合适
39 0
|
3月前
|
存储 算法 NoSQL
Elasticsearch拆分索引知多少
Elasticsearch拆分索引知多少
35 0
|
4月前
|
数据采集 存储 自然语言处理
elasticsearch 跨索引联合多条件查询
elasticsearch 跨索引联合多条件查询
|
5月前
|
API 索引
ElasticSearch索引模板
ElasticSearch索引模板
136 1
|
5月前
|
JSON 自然语言处理 数据库
数据库-ElasticSearch入门(索引、文档、查询)
数据库-ElasticSearch入门(索引、文档、查询)
295 0
|
2月前
|
JSON 监控 数据管理
【Elasticsearch专栏 12】深入探索:Elasticsearch使用索引生命周期管理(ILM)自动化删除旧数据
Elasticsearch的ILM功能允许用户定义策略,自动管理索引从创建到删除的生命周期。用户可以设置策略,根据索引年龄或大小自动删除旧数据,节省存储空间。通过应用ILM策略于索引模板,新索引将遵循预定义的生命周期。用户还可以监控ILM状态,确保策略按预期执行。使用ILM,用户可以高效地管理数据,确保旧数据及时删除,同时保持数据完整性和安全性。
|
4月前
|
索引
elasticsearch 创建索引模版template
elasticsearch 创建索引模版template
|
3月前
|
存储 自然语言处理 搜索推荐
【Elasticsearch专栏 01】深入探索:Elasticsearch的正向索引和倒排索引是什么?
正向索引根据文档ID直接查找文档内容,适用于精确匹配场景;而倒排索引则基于文档内容构建,通过关键词快速定位相关文档,适用于全文搜索,显著提高查询效率,是搜索引擎的核心技术。
|
6天前
|
安全 API 数据安全/隐私保护
Elasticsearch 通过索引阻塞实现数据保护深入解析
Elasticsearch 通过索引阻塞实现数据保护深入解析
|
6天前
|
安全 Java API
SpringBoot 实现 elasticsearch 索引操作(RestHighLevelClient 的应用)
SpringBoot 实现 elasticsearch 索引操作(RestHighLevelClient 的应用)
12 1

热门文章

最新文章