开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

大佬们,flink这个ck一直在这个状态,可能是什么原因?

image.png

展开
收起
雪哥哥 2022-11-13 20:04:50 784 0
3 条回答
写回答
取消 提交回答
  • 网站:http://ixiancheng.cn/ 微信订阅号:小马哥学JAVA

    全量读取阶段不支持checkpoint:CDC读取分为两个阶段,全量读取和增量读取,目前全量读取阶段是不支持checkpont的,因此会存在一个问题,

    2022-11-24 19:56:41
    赞同 展开评论 打赏
  • 每一个Flink作业都会有一个JobManager ,JobManager里面又会有一个 checkpoint coordinator来管理整个checkpoint的过程,我们可以设置一个时间间隔让checkpoint coordinator 将一个 checkpoint 的事件发送给每一个 Container 中的 source task,也就是第一个任务。

    当某个 Source 算子收到一个 Barrier 时,它会暂停自身的数据处理,然后将自己的当前 state 制作成 snapshot(快照),并保存到指定的持久化存储中,最后向 CheckpointCoordinator 异步发送一个 ack(Acknowledge character --- 确认字符),同时向自身所有下游算子广播该 Barrier 后恢复自身的数据处理。

    每个算子按照上面不断制作 snapshot并向下游广播,直到最后 Barrier 传递到 sink 算子,此时快照便制作完成。这时候需要注意的是,上游算子可能是多个数据源,对应多个 Barrier 需要全部到齐才一次性触发checkpoint,所以在遇到 checkpoint 时间较长的情况时,有可能是因为数据对齐需要耗费的时间比较长所造成的。

    2022-11-23 18:02:32
    赞同 展开评论 打赏
  • 天下风云出我辈,一入江湖岁月催,皇图霸业谈笑中,不胜人生一场醉。

    1、yarn的资源不够,导致slot数不够flinkjob设置的并发度。导致数据失败。

    2、hdfs存储空间不够。导致checkpoint一直失败,提交不了任务。

    3、flink代码有异常抛出,导致job一直在创建

    2022-11-23 15:15:11
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Apache Flink 案例集(2022版) 立即下载
    ClickHouse在手淘流量分析应用实践Jason Xu 立即下载
    云数据库clickhouse最佳实践 立即下载