Elasticsearch索引中数据的增删改查与并发控制

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: Elasticsearch索引中数据的增删改查与并发控制

Elasticsearch提供了丰富的REST API接口,使得用户能够便捷地对索引映射中的数据进行增删改查操作。本文将通过示例演示这些操作方法,同时介绍如何利用乐观锁进行并发控制,以及如何实现索引数据的批量写入。

使用REST端点对索引映射中的数据进行增删改查

首先,创建一个名为person的索引,并定义其映射结构:

PUT person
{
  "mappings": {
    "properties": {
      "id": {
        "type": "integer"
      },
      "sex": {
        "type": "boolean"
      },
      "name": {
        "type": "text",
        "fields": {
          "keyword": {
            "type": "keyword",
            "ignore_above": 256
          }
        }
      },
      "born": {
        "type": "date",
        "format": "yyyy-MM-dd HH:mm:ss"
      },
      "location": {
        "type": "geo_point"
      }
    }
  }
}

接下来,执行以下操作:

写入一条数据

POST person/_doc/1
{
  "id": "1",
  "sex": true,
  "name": "张三",
  "born": "2020-09-18 00:02:20",
  "location": {
    "lat": 41.12,
    "lon": -71.34
  }
}

查询第一条数据

GET person/_doc/1

修改数据

POST person/_update/1
{
  "doc": {
    "sex": false,
    "born": "2020-02-24 00:02:20"
  }
}

删除数据

DELETE person/_doc/1

插入数据(覆盖原有文档)

POST person/_doc/1
{
  "id": "1",
  "sex": true,
  "name": "张三",
  "born": "2020-09-18 00:02:20",
  "location": {
    "lat": 41.12,
    "lon": -71.34
  }
}

查询结果如下:

{
  "_index" : "person",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 4,
  "_seq_no" : 9,
  "_primary_term" : 1,
  "found" : true,
  "_source" : {
    "id" : "1",
    "sex" : false,
    "name" : "张三",
    "born" : "2020-09-11 00:02:20",
    "location" : {
      "lat" : 41.12,
      "lon" : -71.34
    }
  }
}

使用乐观锁进行并发控制

在高并发环境下,可能会有多个请求同时尝试修改同一份数据。为了保证数据一致性,可以利用Elasticsearch提供的乐观锁机制进行并发控制。在更新数据时,传递if_seq_noif_primary_term参数,确保只有当当前版本与预期版本一致时才执行更新:

PUT person/_doc/1?if_seq_no=9&if_primary_term=1
{
  "id": "1",
  "sex": false,
  "name": "张三",
  "born": "2020-09-11 00:02:20",
  "location": {
    "lat": 41.12,
    "lon": -71.34
  }
}

索引数据的批量写入

Elasticsearch支持一次请求内执行多条数据的增删改操作,极大地提高了数据写入效率。批量写入的操作类型包括indexcreateupdatedelete

批量添加或更新数据

POST person/_bulk
{"index":{"_id":"3"}}
{"id":"3","name":"王五","sex":true,"born":"2020-09-14 00:02:20","location":{"lat":11.12,"lon":-71.34}}
{"index":{"_id":"4"}}
{"id":"4","name":"李四","sex":false,"born":"2020-10-14 00:02:20", "location":{"lat":11.12,"lon":-71.34}}
{"index":{"_id":"5"}}
{"id":"5","name":"黄六","sex":false,"born":"2020-11-14 00:02:20", "location":{"lat":11.12,"lon":-71.34}}

混合操作示例

POST person/_bulk
{"index":{"_id":"2"}}
{"id":"2","name":"赵二","sex":true,"born":"2020-09-14 00:02:20","location":{"lat":11.12,"lon":-71.34}}
{"create":{"_id":"4"}}
{"id":"4","name":"李四","sex":false,"born":"2020-10-14 00:02:20", "location":{"lat":11.12,"lon":-71.34}}
{"update":{"_id":"5"}}
{ "doc" : {"sex" : "false","born" : "2020-01-01 00:02:20"} }
{"delete":{"_id":"5"}}

索引重建。

首先,创建一个新的索引newperson,并设置其分片数和副本数:

PUT newperson
{
  "settings": {
    "number_of_shards": "5",
    "number_of_replicas": "1"
  }
}

接下来,使用_reindex API将原索引person中的所有数据迁移到新索引newperson

POST _reindex
{
  "source": {
    "index": "person"
  },
  "dest": {
    "index": "newperson"
  }
}

以上操作将按照原索引person的映射结构和数据顺序,将所有文档复制到新索引newperson中。完成迁移后,新索引将拥有与原索引相同的文档集合,但可以根据需要拥有不同的配置、映射或元数据。


值得注意的是,_reindex操作可能消耗大量系统资源,尤其是当源索引数据量较大时。因此,在执行此操作前应确保集群有足够的资源,并尽量选择低峰时段进行。此外,如果源索引在重建期间有新的数据写入,这些数据不会被包含在重建后的索引中。因此,可能需要暂停相关应用程序的写入操作,或者在重建完成后重新同步新增数据。


总结来说,Elasticsearch提供了丰富的REST API接口,使得用户能够方便地对索引中的数据进行增删改查操作。通过使用乐观锁机制,可以有效防止并发冲突,保障数据一致性。此外,批量写入功能极大地提升了数据写入的效率,适用于大规模数据导入或频繁更新的场景。

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
2月前
|
自然语言处理 大数据 应用服务中间件
大数据-172 Elasticsearch 索引操作 与 IK 分词器 自定义停用词 Nginx 服务
大数据-172 Elasticsearch 索引操作 与 IK 分词器 自定义停用词 Nginx 服务
79 5
|
2月前
|
存储 分布式计算 大数据
大数据-169 Elasticsearch 索引使用 与 架构概念 增删改查
大数据-169 Elasticsearch 索引使用 与 架构概念 增删改查
71 3
|
1月前
|
存储 缓存 监控
优化Elasticsearch 索引设计
优化Elasticsearch 索引设计
26 5
|
1月前
|
存储 JSON 关系型数据库
Elasticsearch 索引
【11月更文挑战第3天】
43 4
|
1月前
|
测试技术 API 开发工具
ElasticSearch7.6.x 模板及滚动索引创建及注意事项
ElasticSearch7.6.x 模板及滚动索引创建及注意事项
49 8
|
2月前
|
Web App开发 JavaScript Java
elasticsearch学习五:springboot整合 rest 操作elasticsearch的 实际案例操作,编写搜索的前后端,爬取京东数据到elasticsearch中。
这篇文章是关于如何使用Spring Boot整合Elasticsearch,并通过REST客户端操作Elasticsearch,实现一个简单的搜索前后端,以及如何爬取京东数据到Elasticsearch的案例教程。
234 0
elasticsearch学习五:springboot整合 rest 操作elasticsearch的 实际案例操作,编写搜索的前后端,爬取京东数据到elasticsearch中。
|
2月前
|
消息中间件 监控 关系型数据库
MySQL数据实时同步到Elasticsearch:技术深度解析与实践分享
在当今的数据驱动时代,实时数据同步成为许多应用系统的核心需求之一。MySQL作为关系型数据库的代表,以其强大的事务处理能力和数据完整性保障,广泛应用于各种业务场景中。然而,随着数据量的增长和查询复杂度的提升,单一依赖MySQL进行高效的数据检索和分析变得日益困难。这时,Elasticsearch(简称ES)以其卓越的搜索性能、灵活的数据模式以及强大的可扩展性,成为处理复杂查询需求的理想选择。本文将深入探讨MySQL数据实时同步到Elasticsearch的技术实现与最佳实践。
198 0
|
3月前
|
JSON 自然语言处理 数据库
ElasticSearch基础1——索引和文档。Kibana,RestClient操作索引和文档+黑马旅游ES库导入
概念、ik分词器、倒排索引、索引和文档的增删改查、RestClient对索引和文档的增删改查
ElasticSearch基础1——索引和文档。Kibana,RestClient操作索引和文档+黑马旅游ES库导入
|
3月前
|
存储 搜索推荐 数据建模
Elasticsearch 的数据建模与索引设计
【9月更文第3天】Elasticsearch 是一个基于 Lucene 的搜索引擎,广泛应用于全文检索、数据分析等领域。为了确保 Elasticsearch 的高效运行,合理的数据建模和索引设计至关重要。本文将探讨如何为不同的应用场景设计高效的索引结构,并分享一些数据建模的最佳实践。
160 2
|
4月前
|
存储 缓存 监控