开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink cdc能实时同步mysql的某个库下几千张表么?

flink cdc能实时同步mysql的某个库下几千张表么?

展开
收起
真的很搞笑 2023-11-16 07:54:01 124 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    是的,Flink CDC 可以实时同步 MySQL 数据库下的多张表。您只需要在 Flink SQL 脚本中指定多个表名即可。
    例如,假设您想同步名为 table1, table2table3 的表,您可以使用以下脚本:

    CREATE DATABASE `mysql_cdc`;
    CREATE TABLE `mysql_cdc`.`table1`
    CREATE TABLE `mysql_cdc`.`table2`
    CREATE TABLE `mysql_cdc`.`table3`
    
    2023-11-16 13:36:16
    赞同 1 展开评论 打赏
  • Flink CDC确实可以实时同步MySQL的某个库下的几千张表。首先,你需要准备三个数据库:flink_source、flink_sink、flink_sink_second。然后将flink_source.source_test表实时同步到flink_sink和flink_sink_second的sink_test表。此外,Flink CDC不仅可以实现MySQL数据表结构实时入Apache Doris,效率有所提升,还可以应用于分库分表的数据同步,快速构建Icberg实时数据湖。

    然而,需要注意的是,如果MySQL的存储数据量大了之后,查询性能可能会下降。这时候,可以通过Flink SQL里的MySQL CDC Connector将数据同步到其他数据存储,例如CDC到ES实现数据检索,CDC到ClickHouse进行OLAP分析,CDC到Kafka实现数据同步等。但是目前官方MySQL CDC Connector还无法实现动态同步表结构,如果新增字段,则下游无法收到新增字段的数据,如果删除字段,那Flink任务将会报错退出,需要修改SQL后才能正常启动。

    2023-11-16 10:20:24
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    搭建电商项目架构连接MySQL 立即下载
    搭建4层电商项目架构,实战连接MySQL 立即下载
    PolarDB MySQL引擎重磅功能及产品能力盛大发布 立即下载

    相关镜像