Flink CDC那三天之前的数据是不是用doris的外表慢慢手动插入了?

Flink CDC中想全量同步mysql的一张表到doris,如果mysql binlog保存时间只有三天,那三天之前的数据是不是用doris的外表慢慢手动插入了?

展开
收起
真的很搞笑 2023-11-22 08:14:59 109 分享 版权
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    是的,如果你使用Flink CDC从MySQL同步数据到Doris,并且MySQL的binlog只保留三天的数据,那么三天前的数据将不会被自动同步。如果你想同步过去的数据,你需要自己手动导入或者使用其他方法来实现。
    例如,你可以使用Doris的外部表功能来导入历史数据。首先,你需要在Doris中创建一个外部表,然后将MySQL中的历史数据导出为符合Doris格式的文件,并将其加载到Doris外部表中。这样,你就可以在Doris中查询和分析历史数据了。
    需要注意的是,这种方法可能会有一定的性能影响,因此建议在数据量较小的情况下使用。如果数据量较大,可以考虑使用其他工具或者服务来实现数据迁移。

    2023-11-29 14:24:17
    赞同 展开评论
  • 默认走全增量,历史数据不走binlog,此回答整理自钉群“Flink CDC 社区”

    2023-11-22 10:53:24
    赞同 展开评论
  • 是的,如果MySQL的binlog保存时间只有三天,那么三天之前的数据会通过Doris的外表手动插入。

    2023-11-22 08:57:00
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

还有其他疑问?
咨询AI助理