开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC状态都是好的,也在正常运行,就是没有写数据?

Flink CDC状态都是好的,也在正常运行,就是没有写数据?image.png

展开
收起
真的很搞笑 2023-12-04 07:44:59 81 0
3 条回答
写回答
取消 提交回答
  • 你这个大概率是collection写错了,这个日志看起来不对呀,连collection都没匹配,需要先匹配collection才可以采集数据 ,此回答整理自钉群“Flink CDC 社区”

    2023-12-05 09:01:49
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    如果Flink CDC状态都是好的,也在正常运行,但没有写数据,可能有以下几个原因:

    1. 检查源数据库的binlog或redo log是否正在生成数据变更事件。确保源数据库中有数据被修改或插入。
    2. 检查Flink CDC连接器的配置是否正确。确保连接器的属性和参数与源数据库匹配,并且没有遗漏或错误的配置项。
    3. 检查目标系统是否正确接收到数据变更事件。可以在目标系统中查看是否有数据被写入,或者通过调试日志来确认数据是否成功传输到目标系统。
    4. 检查网络连接是否正常。确保Flink集群和源数据库之间的网络连接稳定,并且没有被防火墙或其他安全策略阻止。
    5. 检查Flink作业的并行度和资源分配情况。如果作业的资源不足或并行度设置不合理,可能会导致数据处理延迟或失败。
    6. 检查Flink作业的输出路径和目标系统的接收能力。确保输出路径可写,并且目标系统有足够的容量来接收数据。
    7. 如果使用了其他组件(如Kafka),请检查相关组件的状态和配置是否正确。确保Kafka集群正常运行,并且Flink CDC连接器能够正确连接到Kafka。
    2023-12-04 14:25:18
    赞同 展开评论 打赏
  • 如果Flink CDC状态都是好的,也在正常运行,但没有写数据,可能有以下几种原因:

    1. 检查源表是否有数据产生。确保源表中有新数据被插入或更新,以便Flink CDC能够捕获到变化并写入到目标表中。

    2. 检查目标表的写入配置。确保目标表的写入配置正确,例如目标数据库连接信息、表名等。

    3. 检查Flink任务的并行度设置。如果Flink任务的并行度设置过低,可能导致数据处理速度较慢,从而影响数据写入。可以尝试增加并行度以提高数据处理速度。

    4. 检查Flink任务的资源分配。确保Flink任务分配了足够的资源(如CPU、内存等),以便能够正常处理和写入数据。

    5. 查看Flink任务的日志和错误信息。检查Flink任务的日志和错误信息,看是否有异常情况导致数据无法写入。如果有错误信息,请根据错误提示进行排查和解决。

    2023-12-04 11:56:40
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载