问题一:Flink CDC有什么办法能实现新加的表从最新binlog开始消费吗?
Flink CDC有什么办法能实现新加的表从最新binlog开始消费吗?
参考答案:
重新无状态,修改代码启动方式是最新,新启个job就可以了,配置文件指定日志点位。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/582181
问题二:flink-cdc-2.3在开启了动态加表的情况下,startOption这个参数对新加的表生效吗?
flink-cdc-2.3,在开启了动态加表的情况下,如果加表后从checkpoint重启,那么startOption这个参数对新加的表生效吗,我这里测试好像都是要先全量读一下
参考答案:
动态加表不可以更改启动方式
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/582178
问题三:Flink CDC1.18,通过flink sql client中建表的方式实现吗?
Flink CDC1.18,我想实现从mysql抽取数据写到clickhouse,请问有直接添加连接器jar的方式,通过flink sql client中建表的方式实现?
参考答案:
ververica-connector-clickhouse 这个可以直接使用,flink 1.18还不支持这个连接器,你只能手写jdbc了https://help.aliyun.com/zh/flink/developer-reference/clickhouse-connector?spm=a2c4g.11174283.0.i1
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/582177
问题四:有flinkcdc mongodb 的demo吗?
有flinkcdc mongodb 的demo吗?我flink1.6 mongodbcdc2.4.2 mongodb4.4 mongodb6.2 版本都尝试了 ,还是报错Exception in thread "main" java.lang.NoSuchMethodError: org.apache.avro.Schema$Field.defaultVal()Ljava/lang/Object;
at com.mongodb.kafka.connect.source.schema.AvroSchema.lambda$createSchema$2(AvroSchema.java:150)
参考答案:
你这是缺少依赖包:
<dependency><groupId>org.apache.avro</groupId><artifactId>avro</artifactId><version>1.11.3</version></dependency>
还有另一个mongodb驱动包你应该有了,不然会先报那个驱动类型找不打异常,有这两个包就不会报错了
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/582175
问题五:Flink CDC中mysql服务器就1个节点,可以改mysql server-id吗?
Flink CDC中mysql服务器就1个节点,为了提高并行度的话,可以改mysql server-id吗?
参考答案:
可以手动设定
只要保证你的并行度不大于你的server-id范围即可
关于本问题的更多回答可点击进行查看: