开发者社区> 问答> 正文

flink sql cdc 如果只处理一次全量数据问题

之前一直使用streaming api,这两天开始使用sql。

有个疑问,flink sql cdc读取mysql的数据时候,会处理 全量 + 增量数据。

那么如果同一个任务上线后,后续有变化,修改后再次上线,这个时候我并不希望处理之前过的数据。这个时候是怎么做呢?

cdc里面有进行state保存消费过的changelog的位置吗?这样我重新上线的时候从savepoint或者checkpoint进行恢复,是不是就可以了?

*来自志愿者整理的flink邮件归档

展开
收起
说了是一只鲳鱼 2021-12-06 11:44:42 1641 0
1 条回答
写回答
取消 提交回答
  • 你说的有变化是后续的数据库进行增删改操作吗,如果是的话你从checkpoint启动就好了啊

    *来自志愿者整理的flink邮件归档

    2021-12-06 14:11:31
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
SQL Server在电子商务中的应用与实践 立即下载
GeoMesa on Spark SQL 立即下载
原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili 立即下载