问题一:Flink CDC出现数据重复只能靠下游组件自己的能力了?
Flink CDC出现数据重复只能靠下游组件自己的能力了?
参考回答:
1:可以清空下游数据信息,重新同步数据
2:靠下游表的pk来保证数据唯一
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567551
问题二:Flink CDC如果数据源换了(只是数据量变了) ck的路径没变 那新任务里 ck还有用吗?
Flink CDC如果数据源换了(只是数据量变了) ck的路径没变 那新任务里 ck还有用吗?
参考回答:
没用的哈
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567550
问题三:Flink CDC如果不确定表的字段,是不是就没办法对无主键的表同步了?
Flink CDC如果不确定表的字段,是不是就没办法对无主键的表同步了?
参考回答:
table-api 拿数据然后转ds
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567549
问题四:Flink CDC同步无主键表的时候,怎么通过datastream mysqlsource添加呢?
Flink CDC同步无主键表的时候,查到scan.incremental.snapshot.enabled配置false,但是都是sql创建with配置这个参数,怎么通过datastream mysqlsource添加呢?没找到入口
参考回答:
jdbcproperties里面添加
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567547
问题五:Flink CDC通过jdbc链接postgresql,url后面需要带schema 需要怎么写?
Flink CDC通过jdbc链接postgresql,url后面需要带schema 需要怎么写?
参考回答:
在 Flink CDC 中,通过 JDBC 链接到 PostgreSQL 数据库时,请按照官方文档要求填写 URL 。URL 的格式为 {jdbc:postgresql://[host]:[port]/[dbname]}
。其中 [dbname]
即为您想要访问的数据库的名字,必须使用标准的 SQL 格式,如 jdbc:postgresql://localhost/your_database_name
。
需要注意的是,您可以在 Flink CDC 的代码中自行定义数据库的名字,例如:
JdbcInputFormat jdbcInputFormat = new JdbcInputFormat( "jdbc:postgresql://localhost/your_database_name", ...);
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567546