开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

大佬 Flink CDC我看官网好像说明2.2以后就不支持change-log但是还可以使用,我当?

问题1:大佬 Flink CDC我看官网好像说明2.2以后就不支持change-log但是还可以使用,我当时2.3还可以使用,我换成2.4以后使用就说没有这种格式,有什么解决方案吗?image.png
问题2:我是用SQL实现的呀,这没法自定义序列化呀,不知道开发者为什么要启用这个,是有更好的替代方案吗

展开
收起
cuicuicuic 2023-07-13 13:48:30 68 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在 Flink 2.2 之后的版本中,Flink CDC 不再支持使用 Change-Log 模式进行数据同步,而是推荐使用 Upsert-Stream 模式或者 Append-Stream 模式。这是因为 Change-Log 模式存在一些局限性,如无法支持主键变更、无法处理 DELETE 操作等,不利于数据同步的效率和稳定性。

    不过,如果你使用的是 Flink 2.2 之后的版本,并且仍然需要使用 Change-Log 模式进行数据同步,你仍然可以使用 Change-Log 模式作为 Flink CDC 的数据源,只不过需要手动配置一些参数,并且需要注意一些局限性和问题。

    具体来说,如果你需要使用 Change-Log 模式进行数据同步,可以在 Flink CDC 的配置文件中,将 change-log 模式设置为 "true",并指定相应的 binlog 位置和数据表信息。需要注意的是,使用 Change-Log 模式进行数据同步,可能会存在一些问题,如无法支持主键变更、无法处理 DELETE 操作等,需要根据实际情况进行相应的处理和调整。

    2023-07-29 22:02:50
    赞同 展开评论 打赏
  • 在 Flink CDC 中,确实在 Flink 2.2 版本之后官方不再推荐使用 Change-Log 模式。因此,如果您将 Flink 升级到了 2.4 版本,并且使用 Change-Log 模式时出现错误提示 "没有这种格式",这是因为官方不再提供内置的 Change-Log 格式支持。

    如果您仍然希望在 Flink 2.4 版本中使用 Change-Log 模式,可以考虑以下两种解决方案:

    1. 自定义 Change-Log 格式:您可以通过自定义实现来支持 Change-Log 格式。可以扩展 Flink CDC 的源码并编写自己的 Change-Log 格式解析器和序列化器。这样,您就可以根据自己的需求定义和处理 Change-Log 数据格式。

    2. 使用其他支持的模式:如果 Change-Log 模式对您的业务需求非常重要,但是官方不再提供原生支持,那么您可以尝试使用其他支持的模式,如 Debezium、Canal 或 Maxwell 等。这些工具可以与 Flink 集成,并提供与 Change-Log 类似的功能。

    无论选择哪种方案,都需要花费额外的开发和配置时间。自定义 Change-Log 格式需要更多的开发工作,而选择其他支持的模式可能需要进行额外的集成和配置。

    需要注意的是,官方推荐使用的是基于 CDC 数据源的模式,如 MySQL、Oracle 或 PostgreSQL 等数据库的 Binlog 模式。这些模式提供更好的集成和性能,并且得到了官方的广泛支持。

    2023-07-29 19:41:13
    赞同 展开评论 打赏
  • 回答1:自己序列化定义格式
    回答2:change-log、JSON、以及 canal-json 等等这些都是一个格式化插件,你可以自己自定义一个序列化包放在 lib 下,如果用change-log,就看看 lib 下有没有这个包,change-log、JSON、以及 canal-json 等等这些都是一个格式化插件,你可以自己自定义一个序列化包放在 lib 下,如果用change-log,就看看 lib 下有没有这个包,此回答整理自钉群“Flink CDC 社区”

    2023-07-13 16:16:37
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载