flinksql的es连接器是不是有bug呀,配置failure-handler=ignore是不是会导致写入es卡住,一直都是busy100%却没数据写入,重启下又好了,有人出现这情况么?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
Flink SQL 中的 Elasticsearch Connector 是 Flink 提供的一个用于将数据从 Flink 写入 Elasticsearch 的组件,它可以将 Flink 流处理引擎中的数据实时写入 Elasticsearch 中。
关于 Elasticsearch Connector 中 failure-handler 参数的使用,根据 Elasticsearch Connector 的官方文档,failure-handler 参数用于配置当写入 Elasticsearch 出现错误时的处理方式。该参数有以下几个可选值:
fail: 如果写入 Elasticsearch 出现错误,任务将失败,并抛出异常。
retry: 如果写入 Elasticsearch 出现错误,任务将重试,直到写入成功或者达到最大重试次数。
ignore: 如果写入 Elasticsearch 出现错误,任务将忽略错误,并继续进行下一次写入。
根据您的描述,您在使用 Elasticsearch Connector 时,将 failure-handler 参数设置为了 ignore。这意味着当写入 Elasticsearch 出现错误时,任务将忽略错误,并继续进行下一次写入。这种处理方式可能会导致数据丢失或者数据不完整,因此需要根据实际情况进行选择。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。