java logstash 如何保证数据不丢失-阿里云开发者社区

开发者社区> 微服务> 正文

java logstash 如何保证数据不丢失

简介:         用过ruby 版本 的logstash 大家都知道,在input 数据消费进来之后,output数据要是失败了,就会扔掉,这个对数据要求较高的应用中是很难接受的。        举一个列,input kafka,output elasticsearch,在消费kafka数据到内存队

        用过ruby 版本 的logstash 大家都知道,在input 数据消费进来之后,output数据要是失败了,就会扔掉,这个对数据要求较高的应用中是很难接受的。

       举一个列,input kafka,output elasticsearch,在消费kafka数据到内存队列,在output到elasticsearche的时候,elasticsearch不可用,elasticsearc客户端会重试几次之后还是失败就会扔掉,重新消费kafka数据,ruby 版本的logstash 没有提供配置能保证数据不可丢失。

       java 版本的logstash 在BaseOutput基类里面定义了一个sendFailedMsg 这个方法,这个方法就是有开发插件的开发人员自己写数据重试的逻辑,并且把失败的数据放在 BlockingQueue<Object> failedMsgQueue这个quene 里面,java logstash会在消费input quene 数据之前,先消费failedMsgQueue里面的数据,直到没有数据才会消费input quene里的数据,默认这个是关闭的,需要consistency这个字段设置为true。

   并且,java logstash在应用在正常被kill时会监听input quene 判断里面是否还有数据,如果还有会让里面的数据消费完成,在停掉应用。

    

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
微服务
使用钉钉扫一扫加入圈子
+ 订阅

构建可靠、高效、易扩展的技术基石

其他文章