问题一:Flink CDC知道sqlservercdc如何从指定时间位置cdc吗?
Flink CDC知道sqlservercdc如何从指定时间位置cdc吗?
参考答案:
Flink CDC 支持从指定时间位置开始进行 CDC,可以通过设置 scan.startup.mode
参数来实现。
对于 SQL Server,可以使用 latest.offset
模式来指定从最新的偏移量位置开始读取数据。例如:
scan.startup.mode=latest-offset; scan.startup.timestamp-millis=1620000000000;
其中,scan.startup.timestamp-millis
参数表示指定的起始时间戳,单位为毫秒。在上面的例子中,起始时间戳被设置为 2021 年 7 月 1 日的零点。
需要注意的是,如果指定的起始时间戳早于表中最早的记录时间,则 Flink CDC 将无法从该位置开始读取数据。因此,在设置起始时间戳时需要确保其晚于表中最早的记录时间。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/579994
问题二:用flinkcdc这个怎么能让他不自动转变呀?
用flinkcdc同步数据它会自动把mysql datetime格式的数据给转化成了毫秒值的时间戳,这个怎么能让他不自动转变呀?
参考答案:
不能让他不转变。要不在序列化时转,要不对时间字段进行处理,datetime还好是时间戳,还有一种时间类型cdc是转成距离1970年1月1日的天数,所以针对时间要分别处理
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/579993
问题三:Flink CDC全量阶段是指设置为initia吗?
Flink CDC全量阶段是指设置为initia吗?
参考答案:
看官网把,写的很清楚 https://ververica.github.io/flink-cdc-connectors/release-2.4/content/connectors/mysql-cdc.html
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/579992
问题四:Flink CDC中binlog只保留七天,那历史数据是不是没办法直接通过CDC同步?
Flink CDC中binlog只保留七天,那历史数据是不是没办法直接通过CDC同步?
参考答案:
全量阶段会把历史数据同步过来
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/579991
问题五:Flink CDC任务停了在启动还会接着前一天的位置同步数据吗?
Flink CDC现在的需求不需要一直开着这个任务让它去监控数据的变化,而且每天数据量不大。领导那边不想他一直跑着,能不能像离线在零点之后去读取前一天变化的数据?具体参数配置上有没有需要注意的,例如启动模式用initia,后任务停了在启动还会接着前一天的位置同步数据吗?
参考答案:
那就不用实时,就周期抽取么T+1么,定时调用批任务就行
关于本问题的更多回答可点击进行查看: