Flink CDC删除同步到es里数据的原理是什么呢,删除product表里的记录,程序是如何去es里删除的呢? 我们以前用canal做是配置了一个key,通过这个key去删除。数据已经存储到es里了,要删除es里的数据就要指定条件删除,从表product删除一条数据后会发生什么呢?有没有这方面的资料看看?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
Flink CDC 是一个基于 Apache Flink 的开源工具,用于将关系型数据库的变更数据(如增、删、改)实时同步到 Elasticsearch(ES)等目标存储。同步过程中,如果在源数据库中删除了 product 表的记录,则 Flink CDC 会通过变更数据捕获到该删除操作,并在同步到 ES 时进行相应的删除操作。
具体而言,Flink CDC 通过监听数据库的 binlog(或者使用其他方式),捕获到数据库的变更数据,并将其转换成对应的 Elasticsearch 的操作(如 Index、Delete、Update)。
在删除操作的情况下,Flink CDC 会根据删除记录的主键或唯一标识,生成对应的删除操作指令,即对应的 Elasticsearch 的 Delete 操作。这样,当数据同步到 ES 时,ES 会根据删除操作指令删除对应的记录。
关于 Flink CDC 的具体实现细节和原理,可以参考 Flink CDC 的官方文档、源代码或相关的开发者社区讨论。您可以通过搜索 "Flink CDC" 或者 "Flink CDC implementation" 来获取更多的资料和参考资源。另外,您还可以参考 Flink 官方文档中关于 CDC 的章节,了解 CDC 的工作原理和实现机制。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。
评论
全部评论 (0)