我现在用efk(es+filebeat+kibana)作为日志平台,发现日志占用过大,所以想根据条件删除一些无用的日志,但是删除的过程中发现删除的速度也太慢了,目测(没有精确统计过)1-2分钟才能删10w条,照这个速度,万一日志生产的速度再快点,没准删除的还没新增的快呢。。。尴尬
目前用这种方式删除:
POST请求
http://192.168.112.82:9200/filebeat-7.6.2-2020.04.20-000001/_delete_by_query?conflicts=proceed
请求体:
{
"query": {
"match": {
"kubernetes.container.name": "rancher"
}
}
}
之后改了一下查询语句,发现没多大用,还是特别慢
{
"query": {
"bool": {
"filter": [
{
"term": {
"kubernetes.container.name": "rancher"
}
}
]
}
}
}
可以使用批处理`_bulk`方式,进行快速删除:
POST /customer/_doc/_bulk?pretty
{"update":{"_id":"1"}}
{"doc": { "name": "John Doe becomes Jane Doe" } }
{"delete":{"_id":"2"}}
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。