开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC没有变成最新的id 导致dba讲归档日志删除后重启报错?

Flink CDC中1.同步一段时候后会报快照过久问题,2同步一段时间 也启动了checkpoint。但是checkpoint 中的scn还是最初任务启动时的id。没有变成最新的id 导致dba讲归档日志删除后重启报错?

展开
收起
真的很搞笑 2023-09-19 20:43:10 53 0
1 条回答
写回答
取消 提交回答
  • 在Flink CDC中,当同步的快照(snapshot)过久时,可能会导致状态(state)的大小超过了配置的阈值。这可能会引发状态后端(state backend)的异常,从而导致作业失败。为了解决这个问题,您可以尝试以下方法:

    增加状态后端的容量或存储空间,以容纳更大的状态大小。
    调整Flink作业的配置,例如增加作业的并发度(parallelism)或调优状态的使用方式,来减少状态的大小和存储需求。
    缩短快照的间隔时间,以便更频繁地进行快照,并减少每个快照的大小。
    对于Checkpoint的SCN没有及时更新的问题,可能是由于Flink作业的配置或状态后端设置不正确所导致。请确保以下几点:

    确保Flink作业的checkpoint间隔(checkpoint interval)合理设置,以便及时触发checkpoint。
    检查Flink作业中状态后端(state backend)的配置,确保状态后端配置正确并与checkpoint机制一致。
    确保启动Flink作业时的SCN(Sequence Control Number)正确设置,并且在checkpoint中正确更新SCN。
    如果以上步骤都正确配置,但SCN仍未正确更新,请检查Flink CDC的版本和配置是否有任何限制或问题。您也可以查阅Flink CDC的官方文档或社区支持,了解更多关于正确配置和处理SCN的信息。

    请注意,Flink CDC的具体配置和行为可能因版本和使用方式而异。建议参考官方文档、论坛或社区资源,以获取与您所使用的Flink版本和CDC集成相关的详细信息和指导。

    2023-09-27 14:02:43
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
    Kubernetes下日志实时采集、存储与计算实践 立即下载
    日志数据采集与分析对接 立即下载