问题一:Flink CDC这个文档中的mysqlcdc 是使用脚本去同步吗?
Flink CDC这个文档中的mysqlcdc 是使用脚本去同步吗,只看到了运行的命令,没有看到对应的脚本,还是说去写flinkcdc去同步,没太看懂这个文档的描述?https://paimon.apache.org/docs/master/cdc-ingestion/mysql-cdc/
参考答案:
Flink CDC的MySQL CDC功能并不依赖于单独的脚本同步,而是通过配置Flink作业的方式实现。在您提供的链接中提到的MySQL CDC,主要是指如何配置Flink CDC连接器从MySQL获取变更数据并进一步处理。您需要在Flink作业的代码或配置文件中指定相关参数,如MySQL服务器地址、用户名密码、表名等信息。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/601411
问题二:Flink CDC同一条数据应该是同一个主键吧?
Flink CDC同一条数据应该是同一个主键吧?读进来的时候应该会有顺序,但是写出的时候,并行度高会不会出现顺序错乱导致数据错误?
参考答案:
增量阶段,并行度只有1
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/601408
问题三:Flink CDC有什么好的解决方案吗?
Flink CDC有什么好的解决方案吗?比如修改哪个配置
网上只搜到一个改debezium中converters的方案,感觉略复杂
使用dataStreamApi的方式,flink项目从MySqlSource中拿到的数据(Date类)比mysql库中实际数据(datetime类型)晚8小时
mysql库的time_zone=Asia/Shanghai
flink-java版本1.7.1
flink-connector-mysql-cdc版本2.4.1
参考答案:
这种一般是mysql时区和flink机器时区不匹配的问题造成的 ,
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/601405
问题四:Flink CDC中mysql的binlog里的opts时间,是事务开始的时间,还是事务结束的时间?
Flink CDC中mysql的binlog里的opts时间,是事务开始的时间,还是事务结束的时间?
参考答案:
只有事务成功结束才会生成binlog,你可以这样理解,binglog不是和其他时间绑定的
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/601397
问题五:oracle11g cdc3.0 flink1.18 为啥任务启动后要等十多分钟才读到数据?
oracle11g cdc3.0 flink1.18 为啥任务启动后要等十多分钟才读到数据,表里面只有几条数据,有人知道不?
参考答案:
碰到过获取的慢是因为设置了lob.enabled为true。去掉这个配置就快了,你看看是不是配置了这个
关于本问题的更多回答可点击进行查看: