开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC有没有遇到过sqlserver开启cdc后,其他作业的历史执行记录都看不了了?

Flink CDC有没有遇到过sqlserver开启cdc后,其他作业的历史执行记录都看不了了?

展开
收起
真的很搞笑 2023-10-22 22:36:15 66 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在Flink CDC中,如果你开启了SQL Server的CDC,那么你可能会遇到一些问题。这些问题可能与SQL Server的CDC有关,但也可能与其他因素有关。
    在Flink CDC中,如果你开启了SQL Server的CDC,那么你可能会遇到以下问题:

    1. 数据同步延迟:如果你开启了SQL Server的CDC,那么Flink CDC可能无法及时获取到SQL Server的数据变更,从而导致数据同步延迟。你可以通过调整SQL Server的CDC配置,来改善数据同步的延迟。
    2. 数据丢失:如果你开启了SQL Server的CDC,那么Flink CDC可能无法及时获取到SQL Server的数据变更,从而导致数据丢失。你可以通过调整SQL Server的CDC配置,来改善数据丢失的问题。
    3. 数据不一致:如果你开启了SQL Server的CDC,那么Flink CDC可能无法及时获取到SQL Server的数据变更,从而导致数据不一致。你可以通过调整SQL Server的CDC配置,来改善数据不一致的问题。
    2023-10-23 14:28:57
    赞同 展开评论 打赏
  • Flink CDC的工作原理是通过监听数据库的日志事件(如Redo Log或者Undo Log)来获取数据的变更信息,然后生成对应的DataStream。这个过程不会影响其他作业的执行。

    如果你在开启CDC后遇到其他作业无法执行的问题,可能是因为以下几个原因:

    1. 资源问题:CDC会消耗一定的系统资源,如果你的系统资源有限,可能会导致其他作业无法执行。

    2. 数据质量问题:CDC生成的DataStream可能会有数据质量问题,比如数据类型不匹配、空值过多等,这可能会导致其他作业无法正确执行。

    3. 任务逻辑问题:如果你的任务逻辑有问题,比如有未处理的异常或者死循环,这也会导致其他作业无法执行。

    建议你先检查一下系统的资源使用情况,然后检查一下CDC生成的DataStream的数据质量,最后检查一下你的任务逻辑。

    2023-10-23 10:36:38
    赞同 展开评论 打赏
  • cdc记录的数据是 开启表的cdc功能之后的 增删改操作的记录,此回答整理自钉群“Flink CDC 社区”

    2023-10-23 08:09:07
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载