Flink CDC中想全量同步mysql的一张表到doris,如果mysql binlog保存时间只有三天,那三天之前的数据是不是用doris的外表慢慢手动插入了?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
是的,如果你使用Flink CDC从MySQL同步数据到Doris,并且MySQL的binlog只保留三天的数据,那么三天前的数据将不会被自动同步。如果你想同步过去的数据,你需要自己手动导入或者使用其他方法来实现。
例如,你可以使用Doris的外部表功能来导入历史数据。首先,你需要在Doris中创建一个外部表,然后将MySQL中的历史数据导出为符合Doris格式的文件,并将其加载到Doris外部表中。这样,你就可以在Doris中查询和分析历史数据了。
需要注意的是,这种方法可能会有一定的性能影响,因此建议在数据量较小的情况下使用。如果数据量较大,可以考虑使用其他工具或者服务来实现数据迁移。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。