请问下 Flink CDC中利用 mysql-cdc 同步数据到doris的时候，如过源表有数据删？
请问下 Flink CDC中利用 mysql-cdc 同步数据到doris的时候，如过源表mysql有数据删除， 在doris里面也会有数据删除吗？
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
-
在使用 Flink CDC 将 MySQL 数据同步到 Doris（以前的Palo）时，如果源表中的数据被删除，Doris 中的数据是否会被删除取决于您在 Flink CDC 配置中的处理逻辑。
默认情况下，Flink CDC 将源表的数据变更（包括插入、更新和删除）同步到目标表中，这意味着如果源表中的数据被删除，Doris 中对应的数据也会被删除。
然而，您可以使用 Flink CDC 提供的转换函数和自定义逻辑来控制数据的同步行为。具体来说，您可以编写自定义的 Flink 函数或使用 Flink 的 DataStream API，根据您的需求对同步的数据进行处理、过滤或转换。通过这种方式，您可以决定是否将删除操作同步到 Doris 中，或者可以采取其他策略，如将删除操作视为更新或忽略删除操作。
需要注意的是，如果您选择不将删除操作同步到 Doris 中，请确保您的处理逻辑能够正确处理插入和更新操作，以保证最终数据的一致性。
总之，Flink CDC 可以根据您的需求将 MySQL 数据的删除操作同步到 Doris 中，但这取决于您在 Flink CDC 中配置的处理逻辑。
2023-10-17 11:29:21赞同 展开评论
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。