请问大家用pipeline ,flink和cdc都是什么版本的啊 ?

请问大家用pipeline ,flink和cdc都是什么版本的啊 ?

展开
收起
小小鹿鹿鹿 2024-03-25 17:51:23 77 分享 版权
阿里云 AI 助理回答

根据您提供的知识库资料,以下是关于 Pipeline、Flink 和 CDC 版本 的详细解答:


1. Flink 版本

Flink 的版本选择需要与阿里云实时计算 Flink 版的引擎版本(VVR)保持一致。以下是一些关键点: - 阿里云实时计算 Flink 版的引擎版本通常以 vvr-x.x.x-flink-x.x 的形式命名,例如 vvr-8.0.4-flink-1.17。 - 对应的 Apache Flink 版本为 1.17.x,具体版本号需参考官方文档中的版本对应关系。 - 重要提醒:请确保使用的 Flink 版本与 VVR 引擎版本兼容,否则可能导致作业运行时出现不兼容问题。


2. CDC 版本

Flink CDC 的版本选择需要根据实际需求和功能支持来决定: - Flink CDC 3.0 是最新版本,支持 YAML 数据摄取作业开发,并且已经从捕获数据源变更的 Flink Source 演变为流式 ETL 数据摄取框架。 - 如果使用的是社区版 Flink CDC,建议选择稳定版本,例如 flink-sql-connector-mysql-cdc-2.1.0.jar。 - 注意:从 Flink CDC 2.0.0 开始,Group ID 从 com.alibaba.ververica 改为 com.ververica,因此在 Maven 仓库中查找 2.x 版本时,路径为 /com/ververica


3. Pipeline 版本

Pipeline 的版本通常与 Flink 和 CDC 的版本紧密相关,以下是一些配置建议: - 在使用 DataStream API 构建 Pipeline 时,推荐使用 FAT JAR(如 flink-sql-connector-xx),因为它包含了所有依赖项,适合 SQL 作业使用。 - 如果使用的是 DataStream API,则需要手动管理第三方依赖(如 flink-connector-xx),并处理可能的依赖冲突。


4. 版本组合建议

根据知识库资料,以下是一些推荐的版本组合: - Flink 引擎版本vvr-8.0.7-flink-1.17 或更高版本。 - Flink CDC 版本flink-sql-connector-mysql-cdc-2.1.0flink-sql-connector-mysql-cdc-3.0。 - Pipeline 配置:确保使用与 Flink 和 CDC 版本兼容的连接器和依赖项。


5. 重要提醒

  • 灰度升级:如果您无法使用某些新功能(如 Flink CDC 3.0 的 YAML 数据摄取作业开发),可能是因为您的账号尚未完成灰度升级。可以通过提交工单申请加速升级。
  • Source 复用:在 VVR 8.0.7 及以上版本中,开启 CDC Source 复用功能时,需额外设置 SET 'sql-gateway.exec-plan.enabled' = 'false';,并且不建议将 pipeline.operator-chaining 设为 false

希望以上信息能够帮助您明确 Pipeline、Flink 和 CDC 的版本选择及配置要求。如有进一步问题,请随时告知!

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

还有其他疑问?
咨询AI助理