开发者社区 > 大数据与机器学习 > 正文

各位大佬,flinkcdc 怎么设置 只读今天之后的 mysql 数据? 历史数据不读?

各位大佬,flinkcdc 怎么设置 只读今天之后的 mysql 数据? 历史数据不读?CREATE TABLE mysql_source (...) WITH ( 'connector' = 'mysql-cdc', 'scan.startup.mode' = 'earliest-offset', -- 从最早位点启动 'scan.startup.mode' = 'latest-offset', -- 从最晚位点启动 'scan.startup.mode' = 'specific-offset', -- 从特定位点启动 'scan.startup.mode' = 'timestamp', -- 从特定位点启动 'scan.startup.specific-offset.file' = 'mysql-bin.000003', -- 在特定位点启动模式下指定 binlog 文件名 'scan.startup.specific-offset.pos' = '4', -- 在特定位点启动模式下指定 binlog 位置 'scan.startup.specific-offset.gtid-set' = '24DA167-0C0C-11E8-8442-00059A3C7B00:1-19', -- 在特定位点启动模式下指定 GTID 集合 'scan.startup.timestamp-millis' = '1667232000000' -- 在时间戳启动模式下指定启动时间戳 ... )我是1.13.0版本 刚才选择了 'scan.startup.timestamp-millis' 参数 设置为今天的时间,但是历史的数据也一直在读,这里面有个问题,我以前数据库是max 的模式,记录了一些binlog;后面调成了row模式,选择这种方式的时候 报错里面存在statement or mixed,我是不是要基于row模式下做一个最新的binlogimage.png

展开
收起
cuicuicuic 2023-06-11 15:32:42 63 0
1 条回答
写回答
取消 提交回答
  • 我感觉你没读文档,cdc官网写了启动方式, 'scan.startup.mode' = 'latest-offset', -- 从最晚位点启动,此回答整理自钉群“Flink CDC 社区”

    2023-06-11 15:41:55
    赞同 展开评论 打赏

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

相关电子书

更多
搭建电商项目架构连接MySQL 立即下载
搭建4层电商项目架构,实战连接MySQL 立即下载
PolarDB MySQL引擎重磅功能及产品能力盛大发布 立即下载

相关镜像