问题一:Flink CDC中LOG_MINING_FLUSH 位点信息能存到指定的表吗?
Flink CDC中LOG_MINING_FLUSH 位点信息能存到指定的表吗?
参考答案:
当Flink CDC处理到一个CDC日志时,它会将该日志信息写入到名为LOG_MINING_FLUSH的表中。如果Flink CDC出现故障,可以通过查询这个表来恢复处理。LOG_MINING_FLUSH表主要包含以下字段:op_type(DML操作类型,例如"INSERT"、"UPDATE"和"DELETE")、table_name(被修改的表名)、before(表中被修改的数据之前的值)、after(表中被修改的数据之后的值)以及ts(CDC日志的时间戳)。
不过,值得注意的是,尽管Flink CDC在执行checkpoint时会把位点存储到state中以支持exactly-once语义,但是它现在还不支持指定位点消费。也就是说,无法将位点信息存到指定的表中。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/579906
问题二:Flink CDC 对于tidb哪个版本有要求么 需要在tidb哪个版本之上才比较稳定么?
Flink CDC 中TiDB CDC Connector tidb cdc 对于tidb哪个版本有要求么 需要在tidb哪个版本之上才比较稳定么?不是,自己idc机房机房的tidb 和flink集群
参考答案:
Flink CDC的TiDB CDC Connector的使用并没有明确指定对TiDB的哪个版本有特殊的要求。然而,需要注意的是,Flink CDC的版本与Flink集群的版本需要保持一致。例如,在2.2版本之前,Flink CDC 连接器都只对应一个 Flink 大版本。举例来说,如果用户正在使用Flink CDC 2.1,那么它只能在 Flink 1.13 版本的集群上运行,无法在 Flink 1.14 的集群上使用。因此,建议根据你的Flink版本选择适配的CDC Connector版本。此外,为了保证稳定运行,推荐使用已经发布的稳定版本。对于开发中的版本,例如快照版本,可能需要下载源代码并自行编译。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/579905
问题三:Flink CDC主要是前段时间我测试同样的配置每分钟能达到100w,有什么原因导致这样的问题?
Flink CDC主要是前段时间我测试同样的配置每分钟能达到100w,现在不到10w,就想问问pg这块有什么原因导致这样的问题?代码也没有更改过
参考答案:
Flink CDC的性能下降可能是由多种原因导致的,以下是一些可能的原因:
- 数据库性能问题:如果PostgreSQL数据库的性能下降,例如CPU、内存或磁盘I/O资源不足,那么CDC的性能也会受到影响。您可以尝试优化数据库性能,例如增加CPU、内存或使用更快的磁盘等。
- Flink配置问题:Flink的配置也会影响CDC的性能。例如,您可以调整并行度(parallelism)和批处理大小(batch size)来提高性能。此外,您还可以调整其他Flink配置参数,例如任务管理器数量(task manager number)、任务管理器内存大小(task manager memory size)等。
- 数据量变化:如果您的数据量发生变化,例如从每分钟10万条变为每分钟1万条,那么CDC的性能可能会受到影响。您可以尝试优化数据模型或查询,以减少数据量。
- 网络延迟:如果Flink和PostgreSQL之间的网络延迟较高,那么CDC的性能也会受到影响。您可以尝试优化网络连接或使用更快的网络设备。
- 其他因素:还有其他因素可能导致CDC性能下降,例如硬件故障、操作系统问题等。您可以尝试排除这些因素,以确定导致性能下降的具体原因。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/579904
问题四:Flink CDC中pg归档日志1.8t会影响cdc同步?现在同步每分钟不到10w太慢了?
Flink CDC中pg归档日志1.8t会影响cdc同步?现在同步每分钟不到10w太慢了?可能日志太大导致磁盘满了,io肯定慢很多
参考答案:
归档日志在PostgreSQL中扮演着重要的角色,它的主要作用是避免由于异常宕机导致还没有写入磁盘的数据丢失。当数据库重新启动时,可以通过事务日志进行恢复,也可以通过事务日志实现基于时间点的恢复和流复制等功能。因此,如果pg的归档日志过大,比如达到1.8T,可能会影响Flink CDC的数据同步速度。
在处理这类问题时,你可以考虑调整归档日志的保留时间,并确保归档日志的数据完整性。如果需要重新开始同步数据,可以在Flink CDC中使用“重置偏移量”功能,重新从最新的归档日志开始同步。此外,你还可以更改wal日志方式为logical,以及调整solts最大数量,这些操作可能有助于优化Flink CDC的同步性能。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/579903
问题五:Flink CDC这儿源表数据并没有新增和修改操作,请问怎么一直busy 100%呢?
Flink CDC这儿源表数据并没有新增和修改操作,请问怎么一直busy 100%呢?(insert into tag_categories_sink select * FROM mysql_tag_categories_source)
参考答案:
Flink CDC下游库,性能差,反压
关于本问题的更多回答可点击进行查看: