开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC里1.18 planner使用哪个版本?

Flink CDC里1.18 planner使用哪个版本?我看有个planner-loader和一个指定scala版本的。

展开
收起
小小鹿鹿鹿 2024-02-20 18:28:33 82 0
3 条回答
写回答
取消 提交回答
  • Apache Flink 1.18版本的Flink CDC通常会指定一个与之兼容的Table & SQL Planner。从Flink 1.11开始,Flink引入了 Blink Planner作为默认的SQL执行引擎,它提供了更好的性能和更丰富的特性。

    对于Flink CDC,在使用Flink 1.18时,你应该选择与该版本兼容且性能最优的Planner。在配置Flink CDC作业时,并不需要直接指定planner-loader,因为这是在启动Flink集群或者提交Flink作业时通过全局配置来决定的。

    关于Scala版本,Flink发行版通常会提供针对不同Scala版本的构建,比如2.11或2.12。在集成Flink CDC到项目中时,需要确保使用的Scala版本与Flink发行版中的Scala版本保持一致。

    具体来说,在构建或运行Flink CDC作业时,请参考以下步骤:

    • 确保你的项目所依赖的Scala版本与Flink 1.18发行版中包含的Scala版本相同。
    • 在Flink集群的flink-conf.yaml配置文件中,无需特别设置 planner-loader,只需正确配置Flink CDC相关的连接器、源表和目标表等信息即可。
    2024-02-21 14:16:39
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC 1.18版本通常需要与Flink 1.18版本的Planner相配套使用

    在Apache Flink中,Planner是负责生成查询执行计划的组件。从1.18版本开始,Flink对Planner进行了更新,增加了新的功能和改进。因此,如果要在Flink中使用CDC(Change Data Capture)并且指定了1.18版本,那么应该确保使用的Planner版本与Flink 1.18版本兼容。通常情况下,Flink的每个主要版本都会包含一个与之兼容的Planner版本,以确保整个系统的稳定性和功能的完整性。

    此外,Flink还提供了一个称为“planner-loader”的机制,它允许用户在运行时动态加载不同版本的Planner。这样做的好处是可以在不重启作业的情况下升级或切换Planner版本。但是,这通常需要用户有一定的经验来处理可能出现的版本兼容性问题。

    至于Scala版本的指定,Flink是用Scala编写的,因此在使用Flink时需要指定Scala的版本。Flink 1.18版本通常会推荐使用某一特定版本的Scala,以确保兼容性。在选择Scala版本时,应参考官方文档或者社区的指导,以选择与Flink 1.18版本兼容的Scala版本。

    综上所述,为了确保Flink CDC 1.18能够正常工作,需要使用与之兼容的Flink 1.18版本的Planner,并根据官方推荐选择合适的Scala版本。在实际操作中,应当参考Flink官方文档或者社区的建议,以便正确配置环境。

    2024-02-20 22:11:01
    赞同 展开评论 打赏
  • 我记得是如果不用hive的话,默认的这个就行了。4d4c8b25d45a7605d2734c8f21bc71c5.png1.18要使用planner loader这个,然后也要额外添加runtime依赖,指定scala的那个planner内部依赖的某个类方法不太对。375a5e0cbe0a581673e5e24b94d98c78.png此回答来自钉群Flink CDC 社区。

    2024-02-20 18:41:01
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载