游客q42gezw5yens6
游客q42gezw5yens6_个人页
游客q42gezw5yens6
文章
0
问答
5
视频
0
个人介绍
暂无个人介绍
擅长的技术
暂无更多信息
2023年11月
-
11.08 18:52:09
回答了问题
2023-11-08 18:52:09
flink cdc每次必须消费整库的binlog么？
赞0 踩0 评论0 -
11.08 18:50:26回答了问题
2023-11-08 18:50:26
Flink CDC怎么知道现在处于全量阶段还是增量阶段？
赞0 踩0 评论0 -
11.08 18:49:53回答了问题
2023-11-08 18:49:53
-
11.08 18:48:09回答了问题
2023-11-08 18:48:09
Flink CDC中Binlog日志没有存那么久，那怎么全量同步呢？
赞0 踩0 评论0 -
11.08 18:43:50回答了问题
2023-11-08 18:43:50
暂无更多信息
-
回答了问题
2023-11-08
flink cdc每次必须消费整库的binlog么？
首先binlog一般不会保存那么久，通常保存7~90天。 cdc全量同步是基于查询的方式，类似datax。 增量部分消费binlog，可实时同步数据。赞0 踩0 评论0 -
回答了问题
2023-11-08
Flink CDC怎么知道现在处于全量阶段还是增量阶段？
flink日志打开，看日志赞0 踩0 评论0 -
回答了问题
2023-11-08
对于Flink CDC，如果binlog保留时间只有1天，是不是就拿不到全量数据了？
可以拿到，先基于查询同步全量数据,此阶段不需要binlog，然后基于binlog同步增量数据。两者无缝衔接赞0 踩0 评论0 -
回答了问题
2023-11-08
Flink CDC中Binlog日志没有存那么久，那怎么全量同步呢？
全量同步是基于查询的，类似datax具体看flink-connector-mysql-cdc源码. 查记录总数及任务分割com.ververica.cdc.connectors.mysql.source.assigners.ChunkSplitter private List splitTableIntoChunks() { final Object[] minMaxOfSplitColumn = queryMinMax(jdbc, tableId, splitColumnName);} 查询数据 com.ververica.cdc.connectors.mysql.debezium.task.MySqlSnapshotSplitReadTaskprivate void createDataEventsForTable () { ResultSet rs = selectStatement.executeQuery() }赞0 踩0 评论0 -
回答了问题
2023-11-08
Flink CDC在获取全量数据阶段的时候是基于查询的，还是基于binlog日志的呢？
看源码，基于查询的 com.ververica flink-connector-mysql-cdc 2.2.0 查记录总数及任务分割com.ververica.cdc.connectors.mysql.source.assigners.ChunkSplitter private List splitTableIntoChunks() { final Object[] minMaxOfSplitColumn = queryMinMax(jdbc, tableId, splitColumnName);} 查询数据 com.ververica.cdc.connectors.mysql.debezium.task.MySqlSnapshotSplitReadTask private void createDataEventsForTable () { ResultSet rs = selectStatement.executeQuery() }赞0 踩0 评论0
滑动查看更多
暂无更多信息