开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC里yaml 的方式 可以正则配置 多个库的多个表吗?

Flink CDC里yaml 的方式 可以正则配置 多个库的多个表吗?目前是MySQL多个数据库每天都会新增一个表?业务那边是使用MySQL这样搞的,比较麻烦了 这种情况。我们现在是想把MySQL的数据同步到Doris里面,MySQl 那边每个库都会新增一个表。那同步数据的话可以正则配置多个数据库的多个表吗? 比如db1.tb1,db2.tb2,db3.tb3你好,还有一个问题想咨询下,flink-cdc-3.0.0 配置的yaml任务,我想提交到yarn集群上执行,不过每次启动需要在flink-conf 配置rest.bind-port: {{REST_PORT}}
rest.address: {{NODE_IP}}
execution.target: yarn-session
yarn.application.id: {{YARN_APPLICATION_ID}} ,/bin/flink-cdc.sh mysql-to-doris.yaml有什么方式可以在启动命令行加载以上参数吗 ?

展开
收起
小小鹿鹿鹿 2024-05-01 08:55:47 21 0
1 条回答
写回答
取消 提交回答
  • 目前不支持动态加表,计划是后续会支持。我建议你们mysql换成polardb,oceanbase,tidb,不需要分库分表了。上面几个都是支持mysql的。oceanbase 既可以tp,又可以ap。那就等后续吧,现在yaml不支持动态加表和自动加表。支持支持。
    https://github.com/apache/flink-cdc/pull/3194
    。最近会发布3.1可以关注下。此回答来自钉群Flink CDC 社区 。

    2024-05-01 13:01:47
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载