问题一:Flink CDC中demo这边也取消注释代码了,但还是未按预期打印变更的SQL?
Flink CDC中demo这边也取消注释代码了,但还是未按预期打印变更的SQL? https://github.com/zigaai/flink-demo/blob/main/src/main/java/com/zigaai/CdcTest.java
参考答案:
Flink CDC demo未能按预期打印变更的SQL可能有多种原因。首先,请确保你已经正确配置Flink CDC并启动了任务。其次,你需要检查你的MySQL服务器是否已经开启了binlog,并且Flink CDC能够成功读取到binlog的变更信息。
另外,Flink SQL CDC获取数据库变更日志的Source函数是DebeziumSourceFunction,返回的类型是RowData。这个函数实现了CheckpointedFunction接口,通过Checkpoint机制来保证发生failure时不会丢数,实现exactly once语义。因此,也需要确认Checkpoint的设置是否正确。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/577351
问题二:Flink CDC中flink operator部署了cdc demo代码,可能是什么原因导致的呢?
Flink CDC中flink operator部署了cdc demo代码,但是binlog变化后sql不打印,可能是什么原因导致的呢?checkpoint设置是3,
这是demo代码?
参考答案:
没开启checkpoint或者checkpoint时间太长
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/577346
问题三:Flink CDC中tm的临时文件保存路径可以用哪个配置项配置吗?
Flink CDC中tm的临时文件保存路径可以用哪个配置项配置吗?
参考答案:
在Flink CDC中,TaskManager的临时文件保存路径确实可以通过配置项进行设定。你需要在Flink的配置文件(如flink-conf.yaml)中,设置taskmanager.tmp.dirs
参数来指定临时文件的存储路径。例如:
taskmanager.tmp.dirs: /path/to/temp/dir
这样,TaskManager就会将生成的临时文件存储在你指定的路径下了。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/577344
问题四:Flink CDC硬件有要求吗? 下面的是建议的配置设置吗?
Flink CDC硬件有要求吗? 下面的是建议的配置设置吗?jobmanager.memory.process.size: 2600mtaskmanager.memory.process.size: 2728mtaskmanager.memory.flink.size: 2280m
参考答案:
你这个是standalone模式吗 ,是不是启动集群设置的资源太少了 现在任务所需要的资源大于启动集群设置的资源
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/577343
问题五:flink cdc 从timestamp起,过了好久才能读到数据 找时间点的时间比较长?
flink cdc 从timestamp起,过了好久才能读到数据
这个是因为需要把binlog都读一遍找到对应的时间点,找时间点的时间比较长??
参考答案:
是的, binglog太大,遍历时间长
关于本问题的更多回答可点击进行查看: