问题一:Flink CDC增量阶段的顺序性保障必须得是单并行度吗?
Flink CDC增量阶段的顺序性保障必须得是单并行度吗?
参考答案:
目前增量阶段一定是单并行度,scan.incremental.close-idle-reader.enabled = true 来Whether to close idle readers at the end of the snapshot phase. The flink version is required to be greater than or equal to 1.14 when 'execution.checkpointing.checkpoints-after-tasks-finish.enabled' is set to true.最小化的使用资源
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/577319
问题二:最新版本的flink-cdc可以支持通过 删除一个表,然后再添加这个表来触发这个表的全量同步吗?
最新版本的flink-cdc可以支持通过 删除一个表,然后再添加这个表来触发这个表的全量同步吗? 或者有没有其他方式能够触发一个已经添加过的表进行一次全量同步?
参考答案:
直接走个batch
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/577318
问题三:Flink CDC这边用的是DataStream的方式,只有一个slave呢?
Flink CDC这边用的是DataStream的方式,没有用Flink-sql。 看MySQL Processlist状态,只有一个slave呢?
参考答案:
Flink CDC 是采用了 Debezium 实现的 MySQL 实时同步,它会Flink CDC 是采用了 Debezium 实现的 MySQL 实时同步,它会以 slave server 的方式读取 MySQL 的 binlog 日志。在这个过程中,系统会自动生成一个介于 5400 和 6400 之间的随机数,作为 Debezium 这个客户端的 server-id。值得注意的是,这个 id 在 MySQL cluster 中必须是唯一的。
至于你在 MySQL Processlist 状态中只看到一个 slave,这是因为 Flink CDC 是以 slave 角色运行的。它通过读取 binlog 日志来获取数据库变更数据,并将其转化为 Flink 的 DataStream。因此,你会看到只有 slave 的状态。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/577317
问题四:flink cdc能一次性同步sqlserver某个库下几百张表么?
flink cdc能一次性同步sqlserver某个库下几百张表么?
参考答案:
Flink CDC确实支持同步SQL Server数据库中的多个表,无论是全量同步还是增量同步。具体的操作步骤包括安装并配置必要的组件,如SQL Server(需要支持CDC的功能,SQLServer 2008之后的版本都支持)、开启SQL Server代理以及启用CDC功能。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/577315
问题五:Flinkcdc支持备库同步吗?
Flinkcdc支持备库同步吗?
参考答案:
只要你备库开启binlog就可以同步,oracle的备库同步
关于本问题的更多回答可点击进行查看: