Elasticsearch中docs.deleted 这个里面的数据怎么彻底删掉呢?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Elasticsearch中docs.deleted 这个里面的数据怎么彻底删掉呢?

来自:Elasticsearch 技术团队 2022-08-08 17:49:12 751 1

Elasticsearch中docs.deleted 这个里面的数据怎么彻底删掉呢?

取消 提交回答
全部回答(1)
  • 游客obmka7axbsmgo
    2022-08-08 18:16:34

    Delete By Query 删除原理: Delete_by_query并不是真正意义上物理文档删除,而是只是版本变化并且对文档增加了删除标记。当我们再次搜索的时候,会搜索全部然后过滤掉有删除标记的文档。因此,该索引所占的空间并不会随着该API的操作磁盘空间会马上释放掉,只有等到下一次段合并的时候才真正被物理删除,这个时候磁盘空间才会释放。相反,在被查询到的文档标记删除过程同样需要占用磁盘空间,这个时候,你会发现触发该API操作的时候磁盘不但没有被释放,反而磁盘使用率上升了。 ②使用Delete By Query 删除API注意事项: 1, 一般生产环境中,使用该API操作的索引都很大,文档都是千万甚至数亿级别。索引大小在几百G甚至几个T,因此,这个操作建议在业务低峰期或者晚上进行操作,因为大数据量情况下删除的需要消耗较多的i/o CPU 资源,容易对生产集群造成影响。 2,在删除过程中要确定集群磁盘有一定的余量,因为标记删除需要占用磁盘空间。如果磁盘空间不够,这个操作的失败率还是很大的。 3,Delete By Query有很多配置参数,这里不详解,具体可以参考文档:

    ③_forcemerge 命令可强制进行segment合并,并删除所有标记为删除的文档。Segment merging要消耗CPU,以及大量的I/O资源,所以一定要在你的ElasticSearch集群处于维护窗口期间,并且有足够的I/O空间的(如:SSD)的条件下进行;否则很可能造成集群崩溃和数据丢失.<这个非常重要> 执行上面2个步骤,整个流程就基本操作完毕,其它工作交给系统自动完成。时间待定。期间你会发现,磁盘空间会有一个反复变化的过程,磁盘使用率会先增长,然后在删除释放空间这样一个过程。这个过程无需紧张,都是正常现象。 以上就是整个批量删除和强制段合并操作实列。 curl -X POST "127.0.0.1:9200/对应索引/_forcemerge 此答案整理自钉钉群“Elasticsearch中文技术社区”

    0 0
相关问答

1

回答

Elasticsearch数据索引存储在哪里?

2022-09-08 12:50:03 27浏览量 回答数 1

1

回答

elasticsearch几种API怎么选择?

2022-02-20 12:10:43 4610浏览量 回答数 1

2

回答

为什么作业在运行时 Elasticsearch 会报错误?

2022-01-19 16:40:49 2512浏览量 回答数 2

1

回答

Elasticsearch on MaxCompute是什么?

2021-12-13 22:14:10 243浏览量 回答数 1

1

回答

Elasticsearch如何SaaS化平台?

2021-12-14 17:04:55 479浏览量 回答数 1

1

回答

PolarDB-X 2.0同步至Elasticsearch中_id取值的说明是什么?

2021-12-13 08:20:48 106浏览量 回答数 1

1

回答

云数据库Elasticsearch是什么?

2021-12-09 22:48:39 347浏览量 回答数 1

1

回答

AOP切入elasticsearch 的 Java API RestHighLe?400报错

2020-06-06 09:18:27 341浏览量 回答数 1

1

回答

请问可以给一下【Elasticsearch入门公开课 】07中的讲师所描述的docker.yaml

2020-03-11 22:08:39 1812浏览量 回答数 1

1

回答

Elasticsearch同步MySQL的问题

2016-02-07 15:45:30 2103浏览量 回答数 1
0
文章
1143
问答
来源圈子
更多
相关文档: Elasticsearch
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载