问题一：Flink CDC中LOG_MINING_FLUSH 位点信息能存到指定的表吗？
Flink CDC中LOG_MINING_FLUSH 位点信息能存到指定的表吗？
参考答案：
当Flink CDC处理到一个CDC日志时，它会将该日志信息写入到名为LOG_MINING_FLUSH的表中。如果Flink CDC出现故障，可以通过查询这个表来恢复处理。LOG_MINING_FLUSH表主要包含以下字段：op_type（DML操作类型，例如"INSERT"、"UPDATE"和"DELETE"）、table_name（被修改的表名）、before（表中被修改的数据之前的值）、after（表中被修改的数据之后的值）以及ts（CDC日志的时间戳）。
不过，值得注意的是，尽管Flink CDC在执行checkpoint时会把位点存储到state中以支持exactly-once语义，但是它现在还不支持指定位点消费。也就是说，无法将位点信息存到指定的表中。
关于本问题的更多回答可点击进行查看：
https://developer.aliyun.com/ask/579906
问题二：Flink CDC 对于tidb哪个版本有要求么 需要在tidb哪个版本之上才比较稳定么？
Flink CDC 中TiDB CDC Connector tidb cdc 对于tidb哪个版本有要求么 需要在tidb哪个版本之上才比较稳定么？不是，自己idc机房机房的tidb 和flink集群
参考答案：
Flink CDC的TiDB CDC Connector的使用并没有明确指定对TiDB的哪个版本有特殊的要求。然而，需要注意的是，Flink CDC的版本与Flink集群的版本需要保持一致。例如，在2.2版本之前，Flink CDC 连接器都只对应一个 Flink 大版本。举例来说，如果用户正在使用Flink CDC 2.1，那么它只能在 Flink 1.13 版本的集群上运行，无法在 Flink 1.14 的集群上使用。因此，建议根据你的Flink版本选择适配的CDC Connector版本。此外，为了保证稳定运行，推荐使用已经发布的稳定版本。对于开发中的版本，例如快照版本，可能需要下载源代码并自行编译。
关于本问题的更多回答可点击进行查看：
https://developer.aliyun.com/ask/579905
问题三：Flink CDC主要是前段时间我测试同样的配置每分钟能达到100w，有什么原因导致这样的问题？
Flink CDC主要是前段时间我测试同样的配置每分钟能达到100w，现在不到10w，就想问问pg这块有什么原因导致这样的问题？代码也没有更改过
参考答案：
Flink CDC的性能下降可能是由多种原因导致的，以下是一些可能的原因：
- 数据库性能问题：如果PostgreSQL数据库的性能下降，例如CPU、内存或磁盘I/O资源不足，那么CDC的性能也会受到影响。您可以尝试优化数据库性能，例如增加CPU、内存或使用更快的磁盘等。
- Flink配置问题：Flink的配置也会影响CDC的性能。例如，您可以调整并行度（parallelism）和批处理大小（batch size）来提高性能。此外，您还可以调整其他Flink配置参数，例如任务管理器数量（task manager number）、任务管理器内存大小（task manager memory size）等。
- 数据量变化：如果您的数据量发生变化，例如从每分钟10万条变为每分钟1万条，那么CDC的性能可能会受到影响。您可以尝试优化数据模型或查询，以减少数据量。
- 网络延迟：如果Flink和PostgreSQL之间的网络延迟较高，那么CDC的性能也会受到影响。您可以尝试优化网络连接或使用更快的网络设备。
- 其他因素：还有其他因素可能导致CDC性能下降，例如硬件故障、操作系统问题等。您可以尝试排除这些因素，以确定导致性能下降的具体原因。
关于本问题的更多回答可点击进行查看：
https://developer.aliyun.com/ask/579904
问题四：Flink CDC中pg归档日志1.8t会影响cdc同步？现在同步每分钟不到10w太慢了？
Flink CDC中pg归档日志1.8t会影响cdc同步？现在同步每分钟不到10w太慢了？可能日志太大导致磁盘满了，io肯定慢很多
参考答案：
归档日志在PostgreSQL中扮演着重要的角色，它的主要作用是避免由于异常宕机导致还没有写入磁盘的数据丢失。当数据库重新启动时，可以通过事务日志进行恢复，也可以通过事务日志实现基于时间点的恢复和流复制等功能。因此，如果pg的归档日志过大，比如达到1.8T，可能会影响Flink CDC的数据同步速度。
在处理这类问题时，你可以考虑调整归档日志的保留时间，并确保归档日志的数据完整性。如果需要重新开始同步数据，可以在Flink CDC中使用“重置偏移量”功能，重新从最新的归档日志开始同步。此外，你还可以更改wal日志方式为logical，以及调整solts最大数量，这些操作可能有助于优化Flink CDC的同步性能。
关于本问题的更多回答可点击进行查看：
https://developer.aliyun.com/ask/579903
问题五：Flink CDC这儿源表数据并没有新增和修改操作，请问怎么一直busy 100%呢？
Flink CDC这儿源表数据并没有新增和修改操作，请问怎么一直busy 100%呢？（insert into tag_categories_sink select * FROM mysql_tag_categories_source） 
参考答案：
Flink CDC下游库，性能差，反压
关于本问题的更多回答可点击进行查看：
