parallelism.default: 1 把flink这个参数调大后,cdc的同步的数据只会全量

parallelism.default: 1 把flink这个参数调大后,cdc的同步的数据只会全量同步完一次,后面数据进行修改也不会更新了,有人知道怎么回事吗?

展开
收起
爱喝咖啡嘿 2023-01-03 16:25:06 269 分享 版权
1 条回答
写回答
取消 提交回答
  • 该参数parallelism.default用于指定 Flink 作业的默认并行度。它确定将创建以执行作业的任务的并行实例数。

    如果您增加此参数的值并且您注意到数据只被完全同步一次,然后更新没有被传播,这可能是由于几个不同的原因:

    数据源可能无法正确或一致地生成更新。 Flink 作业本身可能存在问题,例如错误或配置不正确,从而阻止其正确处理更新。 接收数据的下游系统可能存在问题,例如无法处理或持久更新。 要解决此问题,您可能需要考虑:

    查看 Flink 作业的日志和配置,看看是否有任何关于可能导致问题的线索。 检查数据源以确保它正确地生成更新。 检查下游系统以查看其是否正常运行并能够处理更新。 查看 Flink 作业和涉及的系统的文档,看看是否有任何已知问题或解决类似问题的建议也可能会有所帮助。

    2023-01-03 22:30:53
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

收录在圈子:
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
还有其他疑问?
咨询AI助理