开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

FLinkSQL同步MySQL时,有遇到上游批量删除20w数据的场景吗?

各位大佬,FLinkSQL同步MySQL时,有遇到上游批量删除20w数据的场景吗,sink端一条条删除非常慢要怎么处理啊?2个小时都删不完

展开
收起
cuicuicuic 2024-01-17 12:20:20 33 0
2 条回答
写回答
取消 提交回答
  • sink算子里面可以设置批量操作的b171c01bc21419abc610f4fd23d48e8e.jpg
    ,此回答整理自钉群“【③群】Apache Flink China社区”

    2024-01-17 13:29:14
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    可以尝试使用Flink SQL的批量删除语法,将多个条件放在一个DELETE语句中,一次性删除多条数据。例如:

    DELETE FROM table_name WHERE condition1 AND condition2 AND ...;
    

    如果仍然无法满足性能要求,可以考虑使用Flink提供的CDC(Change Data Capture)功能,实时捕获MySQL中的数据变更,然后通过Flink SQL进行实时处理和删除。这样可以大大提高删除效率。

    2024-01-17 13:00:09
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
搭建电商项目架构连接MySQL 立即下载
搭建4层电商项目架构,实战连接MySQL 立即下载
PolarDB MySQL引擎重磅功能及产品能力盛大发布 立即下载

相关镜像