开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC将很多数据CDC同步sql都放到一个job中提交 有没有什么问题?

Flink CDC中生产上用flink sql将很多数据CDC同步sql都放到一个job中提交 有没有什么问题?

展开
收起
真的很搞笑 2023-12-20 08:26:58 84 0
1 条回答
写回答
取消 提交回答
  • 在生产环境中,将多个数据CDC同步SQL都放到一个Flink SQL job中提交是可以的,但是需要注意以下几点:

    • 多个表的CDC数据可能会有不同的数据速率和数据量,这可能会影响整个job的性能和资源使用情况。
    • 如果某个表的CDC数据出现问题或者异常,可能会导致整个job失败或者延迟。
    • 在一个job中管理多个CDC数据源和目标可能会增加配置和运维的复杂性。

    为了优化和管理多个CDC数据源和目标,你可以考虑以下方法:

    • 根据数据速率和数据量将相关的表分组到不同的job中,以平衡负载和资源使用。
      使用Flink的checkpoint和savepoint功能来备份和恢复job状态,以便在出现问题时快速恢复和调整。
    • 对每个表的CDC数据进行详细的监控和日志记录,以便及时发现和解决问题。
    2023-12-20 16:53:31
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    SQL Server 2017 立即下载
    GeoMesa on Spark SQL 立即下载
    原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili 立即下载