开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

mysql->flink-cdc->clickhouse数据传输不识别delete操作

在使用flink-cdc将mysql数据以流模式实时同步到clickhouse中发现,源端的物理删除操作(delete)后,clickhouse中的数据依然存在,这类问题该如何解决?这条路根本不通嘛?
ps1:在网上查询解决方案,尝试从json中获取op(数据操作类型)来过滤已删除数据,源端只支持database,table_name,和op_ts(数据操作时间)参数,如果此方案可行的话该如何使用
image.png
ps2:再次尝试debezium方式,又发现不支持这些设置
image.png
2d5fb9d9aab337cbf70195dd6d5944a.png
ps3:补充依赖版本及flink版本
0cba1a4640d079b3d1f4338f5d3d5c3.jpg

展开
收起
游客piakhavlaj2i6 2024-12-13 16:07:43 16 0
0 条回答
写回答
取消 提交回答

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
Flink峰会 - 徐榜江 立即下载
ClickHouse在手淘流量分析应用实践Jason Xu 立即下载
云数据库clickhouse最佳实践 立即下载

相关镜像