开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请问下Flink CDC大佬们Dinky异常状态和重启中状态有什么区别?

请问下Flink CDC大佬们Dinky异常状态和重启中状态有什么区别?

展开
收起
真的很搞笑 2023-08-22 16:58:11 115 0
1 条回答
写回答
取消 提交回答
  • Flink CDC(流处理分布式协调)是Flink提供的一种处理大规模实时流数据的方法。在Flink CDC中,数据从处理中心(通常是Flink集群中的服务器)发送到接收端(通常是消费者),并在发送过程中进行实时处理。在处理过程中,Flink CDC可能会遇到 Dinky 异常状态和重启中状态。

    Dinky 异常状态是指 Flink CDC 处理过程中出现了 Dinky 错误( Dinky 是一种分布式流处理框架),导致 CDC 无法继续执行。这种情况通常是由于 Flink CDC 与其他 Flink 组件(例如 Flink Web 或 Flink 客户端)之间的通信问题导致的。在这种情况下,Flink CDC 将返回一个错误状态码,并停止处理流数据。

    重启中状态是指 Flink CDC 在重启后进入的状态。在重启之前,Flink CDC 可能会在故障恢复过程中尝试恢复处理中心和服务器的正常运行。如果尝试了多种恢复方案并失败,Flink CDC 将进入重启中状态。在重启中状态期间,Flink CDC 将继续处理已经发送的数据,但无法执行任何新的处理操作。在重启完成后,Flink CDC 将返回正常状态,并能够执行新的处理操作。

    异常状态和重启中状态都是 Flink CDC 处理过程中可能出现的状态,但它们的严重程度和影响范围不同。 Dinky 异常状态通常是比较轻微的,它可能会导致 CDC 无法继续执行,但可以恢复。重启中状态可能会导致 CDC 无法处理新的数据,并且可能需要额外的努力才能恢复。在实际应用中,应该根据具体情况来决定是否采取异常状态或重启中状态。

    2023-09-19 10:50:35
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载