flinksql的es连接器是不是有bug呀,配置failure-handler=ignore是不?

flinksql的es连接器是不是有bug呀,配置failure-handler=ignore是不是会导致写入es卡住,一直都是busy100%却没数据写入,重启下又好了,有人出现这情况么?

展开
收起
真的很搞笑 2023-08-01 14:36:55 160 分享 版权
1 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    Flink SQL 中的 Elasticsearch Connector 是 Flink 提供的一个用于将数据从 Flink 写入 Elasticsearch 的组件,它可以将 Flink 流处理引擎中的数据实时写入 Elasticsearch 中。

    关于 Elasticsearch Connector 中 failure-handler 参数的使用,根据 Elasticsearch Connector 的官方文档,failure-handler 参数用于配置当写入 Elasticsearch 出现错误时的处理方式。该参数有以下几个可选值:

    fail: 如果写入 Elasticsearch 出现错误,任务将失败,并抛出异常。
    retry: 如果写入 Elasticsearch 出现错误,任务将重试,直到写入成功或者达到最大重试次数。
    ignore: 如果写入 Elasticsearch 出现错误,任务将忽略错误,并继续进行下一次写入。
    根据您的描述,您在使用 Elasticsearch Connector 时,将 failure-handler 参数设置为了 ignore。这意味着当写入 Elasticsearch 出现错误时,任务将忽略错误,并继续进行下一次写入。这种处理方式可能会导致数据丢失或者数据不完整,因此需要根据实际情况进行选择。

    2023-08-01 23:07:56
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

还有其他疑问?
咨询AI助理