开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink-cdc 前段时间推出了v3.0 版本,我们目前也在调研和测试。有什么改变?

flink-cdc 前段时间推出了v3.0 版本,我们目前也在调研和测试。 现在有两个问题想要请教下:

  1. flink-cdc v3.0 版本支持flink 任务运行在yarn 上吗, 我们现在的资源调度还使用的yarn?
  2. flink 的整库同步能力。相对于多条insert 语句, 在对数据源mysql 的连接上有做优化吗?(目前我们使用多条insert 语句采集mysql源产生了非常多的连接)。

展开
收起
小小鹿鹿鹿 2024-01-18 07:43:23 59 0
1 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。
    1. Flink CDC v3.0 版本支持在YARN上运行Flink任务。你可以使用Flink的YARN客户端来提交作业到YARN集群上运行。

    2. 对于MySQL源的连接优化,Flink CDC v3.0 版本提供了一些改进。它使用了基于事务的CDC(Change Data Capture)机制,可以更有效地处理多条INSERT语句。相比于逐条执行INSERT语句,这种方式可以减少数据库连接的数量,提高数据同步的效率。

    需要注意的是,具体的性能和连接优化效果可能会受到你的环境和配置的影响。建议你在实际测试中进行评估和调优,以获得最佳的结果。

    2024-01-19 15:07:28
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    移动互联网测试到质量的转变 立即下载
    给ITer的技术实战进阶课-阿里CIO学院独家教材(四) 立即下载
    F2etest — 多浏览器兼容性测试整体解决方案 立即下载