问题一:Flink CDC 消费 到的binlog可能会是乱序嘛?
Flink CDC 消费 到的binlog可能会是乱序嘛?
参考答案:
Flink CDC在采集binlog的增量数据时,源端的binlog通常是有序的。然而,在后续传输过程中,可能会出现乱序的现象。不过,你不必担心,因为Flink提供了一些机制来保证数据的有序性。例如,你可以解析binlog中的表主键、binlog发生时间(ts_ms)和binlog消息位点(pos)这三个字段,通过比较这些参数来保证数据的有序性。特别是,主键相同的数据必须放在同一个kafka topic中。此外,你也可以通过配置binlog的读取位置和时间窗口等参数来控制数据的读取顺序和精度,以满足不同的业务需求。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/587209
问题二:Flink CDC run 要把jar包放在哪里?
Flink CDC run 要把jar包放在哪里?
参考答案:
flink run -c 包名 入口类 参数
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/587206
问题三:请问一下Flink CDC这个提交任务,为什么选择jar包后,总是没反应?
请问一下Flink CDC这个提交任务,为什么选择jar包后,总是没反应,能不能提交上去感觉得靠运气?
参考答案:
应该是jar包过大造成的
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/587205
问题四:这个在flinkcdc里怎么配置,在配置文件里配置生动任务时没有生效?
这个在flinkcdc里怎么配置,在配置文件里配置生动任务时没有生效,然后flinkcdc启动是也是-s 指定保存点恢复任务吗?
参考答案:
这个在flink-conf里面自己默认配置下路径就行,现在只能先在 flink-conf 里设置 execution.savepoint.path 指定 savepoint 路径,-s 参数计划在 3.1 里支持。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/587204
问题五:请问下,flink cdc sql方式,当一条数据更新时,结果会输出1条数据还是2条数据?
请问下,flink cdc sql方式,当一条数据更新时,结果会输出1条数据(跟新后) 还是2条数据(更新前、更新后)?
参考答案:
当一条数据更新时,Flink CDC SQL方式会输出2条数据。这是因为在Flink CDC中,UPDATE操作被解析为先删除旧数据,再插入新数据的过程。所以,对于一条数据的更新操作,Flink CDC会生成一个DELETE事件和一个INSERT事件,分别对应于删除旧数据和插入新数据的操作。因此,在SQL查询结果中,你会看到两条记录,一条是DELETE事件对应的旧数据记录,另一条是INSERT事件对应的新数据记录。
关于本问题的更多回答可点击进行查看: