AI 助理
备案控制台

游客q42gezw5yens6_个人页

游客q42gezw5yens6
个人头像照片
文章
0
问答
5
视频
0

个人介绍

暂无个人介绍

擅长的技术

获得更多能力
通用技术能力：

暂时未有相关通用技术能力~

云产品技术能力：

暂时未有相关云产品技术能力~

阿里云技能认证

详细说明
暂无更多信息

2023年11月

正在加载, 请稍后...
暂无更多信息
  • 回答了问题 2023-11-08

    flink cdc每次必须消费整库的binlog么？

    首先binlog一般不会保存那么久，通常保存7~90天。 cdc全量同步是基于查询的方式，类似datax。 增量部分消费binlog，可实时同步数据。
    踩0 评论0
  • 回答了问题 2023-11-08

    Flink CDC怎么知道现在处于全量阶段还是增量阶段？

    flink日志打开，看日志
    踩0 评论0
  • 回答了问题 2023-11-08

    对于Flink CDC，如果binlog保留时间只有1天，是不是就拿不到全量数据了？

    可以拿到，先基于查询同步全量数据,此阶段不需要binlog，然后基于binlog同步增量数据。两者无缝衔接
    踩0 评论0
  • 回答了问题 2023-11-08

    Flink CDC中Binlog日志没有存那么久，那怎么全量同步呢？

    全量同步是基于查询的，类似datax具体看flink-connector-mysql-cdc源码. 查记录总数及任务分割com.ververica.cdc.connectors.mysql.source.assigners.ChunkSplitter private List splitTableIntoChunks() { final Object[] minMaxOfSplitColumn = queryMinMax(jdbc, tableId, splitColumnName);} 查询数据 com.ververica.cdc.connectors.mysql.debezium.task.MySqlSnapshotSplitReadTaskprivate void createDataEventsForTable () { ResultSet rs = selectStatement.executeQuery() }
    踩0 评论0
  • 回答了问题 2023-11-08

    Flink CDC在获取全量数据阶段的时候是基于查询的，还是基于binlog日志的呢？

    看源码，基于查询的 com.ververica flink-connector-mysql-cdc 2.2.0 查记录总数及任务分割com.ververica.cdc.connectors.mysql.source.assigners.ChunkSplitter private List splitTableIntoChunks() { final Object[] minMaxOfSplitColumn = queryMinMax(jdbc, tableId, splitColumnName);} 查询数据 com.ververica.cdc.connectors.mysql.debezium.task.MySqlSnapshotSplitReadTask private void createDataEventsForTable () { ResultSet rs = selectStatement.executeQuery() }
    踩0 评论0
正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
暂无更多信息