开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请教一下Flink CDC,偶发性的delete记录没有写mysql的现象,这个是什么问题呀?

请教一下Flink CDC,我用upsert-kafka作为source 输入源。
使用jdbc 作为sink,写入mysql,会出现偶发性的delete记录没有写mysql的现象,这个是什么问题呀?
用的是FlinkCDC 2.2 + Flink-1.14.2
任务刚提交的时候,delete动作会执行,但是过一段时间后,kafka里输入一个-D的记录,jdbc就不会写库里

展开
收起
真的很搞笑 2023-11-22 09:26:26 53 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    根据您的描述,看起来像是某种bug导致删除操作没有被正确处理。这种情况可能与Flink的任务调度、延迟或其他因素有关。
    为了排查此类问题,建议采取以下步骤:

    1. 验证输出表:请先验证输出表中的记录是否正确,并确保记录数量与预期一致。如果有丢失的数据,请检查是否因其他因素导致。
    2. 查看任务的日志信息:查看任务运行过程中产生的日志信息,看看是否有异常或者警告等提示信息。
    3. 使用Fluent Bit或者其他工具记录更详细的日志信息:Fluent Bit是一个开源的日志收集代理,可以用来收集任务运行过程中的详细信息,并将它们存储到Kafka、Elasticsearch或其他地方。这有助于快速查找出现问题的位置和原因。
    4. 配置任务超时:为任务设置合理的超时时间,以防止因长时间未完成而导致数据丢失。同时,也可以通过设置任务优先级等方式提高任务运行效率。
    5. 联系官方社区:如果您找不到原因,请尝试联系官方社区寻求帮助。
    2023-11-29 13:46:14
    赞同 展开评论 打赏
  • 这个问题可能是由于Flink CDC在处理upsert-kafka输入源时,对于某些特定的数据变化(如delete)的处理不够稳定。当Kafka中出现一个-D的记录时,Flink CDC可能会暂时忽略这个变化,导致MySQL中没有删除相应的记录。

    为了解决这个问题,你可以尝试以下方法:

    1. 检查Kafka和MySQL之间的网络连接是否正常,确保数据能够正常传输。
    2. 调整Flink CDC的配置参数,例如增加maximum number of retries(最大重试次数)或retry interval(重试间隔),以便在遇到问题时能够更好地处理数据变化。
    3. 在Flink CDC的任务中添加日志记录,以便在出现问题时能够追踪问题的具体情况。例如,你可以在Flink CDC的代码中添加如下日志记录语句:
    LOG.info("Processing change {}", change);
    

    这样,当任务出现问题时,你可以查看日志以获取更多关于问题的详细信息。

    1. 如果问题仍然存在,可以考虑升级Flink CDC和Flink的版本,以获得更好的性能和稳定性。
    2023-11-29 12:01:23
    赞同 展开评论 打赏
  • 根据您的描述,可能会有以下原因导致 DELETE 记录不写入 MySQL:

    1. 同步延迟:Flink CDC 任务需要一些时间来处理上游的 delete 记录,因此偶尔会出现同步延迟的问题。您可以在 Flink CDC 配置文件中调整 Kafka 消费者组的消费速度,以加快 DELETE 记录的处理。
    2. 执行顺序:DELETE 和 UPDATE 语句可能会影响 Kafka 中的消息处理顺序,这可能会导致 DELETE 记录不写入 MySQL。
    3. 错误的设置:请确保您的 Flink CDC 和 JDBC 连接器都设置了正确的表和列名,以及正确的表约束。您可以在 Flink CDC 配置文件中使用 -D option 参数设置 DELETE 和 UPDATE 表达式。
    2023-11-22 10:57:18
    赞同 1 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关镜像