问题一：请教下，flink cdc采集oracle 的adg备份库报错，这种情况如何解决？
请教下，flink cdc采集oracle 的adg备份库报错，这种情况如何解决？ 
参考答案：
使用 Apache Flink CDC (Change Data Capture) 采集 Oracle ADG (Active Data Guard) 备份库时遇到问题，这可能是由于多种原因引起的。首先，让我们了解一下 Flink CDC 如何与 Oracle 数据库交互以及可能遇到的一些常见问题。
Flink CDC 与 Oracle ADG 的交互方式
CDC 源: Flink CDC 通过 Debezium 连接器来实现对 Oracle 数据库的 CDC 功能。Debezium 通过监听数据库的日志文件（通常是 Redo Logs）来捕捉变更事件。
Oracle ADG: Oracle ADG 是一种高可用性和灾难恢复解决方案，它通过复制主数据库的日志文件到一个或多个备用数据库来保持数据的一致性。ADG 备份库接收来自主数据库的 Redo 日志，并应用这些日志来保持数据同步。
常见问题及解决方案
- Oracle ADG 备份库配置问题
Redo 日志配置: 确保 ADG 备份库正确配置了 Redo 日志，并且这些日志文件是可以被 Debezium 访问的。
日志归档模式: Oracle ADG 应处于归档模式。如果不在归档模式下，可能无法正确捕获变更事件。
网络连接: 检查 Flink 与 Oracle ADG 之间的网络连接是否正常。 - Debezium 连接器配置问题
Debezium 版本: 确认使用的 Debezium 版本支持 Oracle ADG 并且兼容您的 Oracle 版本。
连接器配置: 检查 Debezium 连接器的配置是否正确，尤其是与 Oracle ADG 相关的参数，如 server.id、database.history、database.history.fs.dir 等。
日志文件位置: 确保 Debezium 能够正确读取 ADG 备份库的日志文件路径。 - Flink CDC 配置问题
CDC 源配置: 检查 Flink CDC 的配置，确认连接字符串、用户名、密码等信息是否正确。
DDL 支持: 确保 Flink CDC 配置支持 DDL 事件，因为这些事件可能会影响数据同步。
表过滤: 如果需要过滤特定的表或模式，确保配置正确。 - 错误日志分析
查看错误日志: 分析 Flink 和 Debezium 的日志文件，查找具体的错误消息和异常堆栈。
调试模式: 如果可能，开启 Debezium 和 Flink 的调试日志级别，以便获得更多关于问题的信息。 - 性能和资源限制
资源限制: 检查 Oracle ADG 备份库是否有足够的资源来支持 CDC，如 CPU、内存和磁盘空间。
并发: 调整 Flink 的并发度和 Debezium 的线程数，确保不会过度负载 Oracle ADG 备份库。
关于本问题的更多回答可点击进行查看：
https://developer.aliyun.com/ask/653582
问题二：请教下，我使用的flink k8s application模式部署怎么办？
请教下，我使用的flink k8s application模式部署，之前用flink1.13.6_java8跑一个任务，没什么问题，现在升级为1.17.0_java11，反而会出现大量的oomkill，导致TM反复重启，我查的说这个跟jvm overhead区域超用有关，我Tm总内存给了10g，jvm_overhead给到了3g，问题仍然存在？
参考答案：
Flink 1.13 到 1.17 版本间经历了多个重大更新，包括对内存管理模型的改进，特别是 Java 11 相比于 Java 8 在内存使用上可能有所不同，可能导致原有配置不再适用。
几个可能的解决方向：
JVM Overhead 调整：虽然你已经尝试调整了 jvm_overhead 参数，但可能仍需进一步微调。Flink 1.13 到 1.17 版本升级过程中，内存模型可能发生了变化，包括如何计算 JVM Overhead。确保你按照最新的官方文档调整这些参数，并理解它们是如何影响总体内存分配的。
GC 调优：Java 11 默认使用的是 G1 垃圾收集器，而之前版本可能默认是 Parallel GC 或 CMS。G1 垃圾收集器的行为和内存管理策略与旧的收集器有所不同，可能需要针对你的应用进行特定的 GC 调优。例如，可以通过设置 -XX:+UseG1GC 和 -XX:MaxGCPauseMillis 等参数来优化垃圾回收策略。
堆外内存：Flink 使用的内存不仅仅是堆内存，还包括堆外内存（如用于网络缓冲区、排序等）。确保你考虑到了所有类型的内存使用，并不是简单地调整 JVM 堆大小就能解决的。检查是否有大量数据序列化、反序列化或者 shuffle 操作导致的内存激增。
Flink 配置检查：确认是否有新的配置选项或者默认配置在新版本中发生了变化，这些变化可能会影响到内存管理。查看 Flink 的官方文档和发行说明，了解是否有需要手动调整的配置项。最佳方案还是，获取并分析堆栈跟踪，确定是哪部分代码导致的内存溢出，这有助于针对性地解决问题 ，
关于本问题的更多回答可点击进行查看：
https://developer.aliyun.com/ask/639655
问题三：启动flink项目会报错,报错没有MySqlValidator这个类，怎么处理？
前几个月我单独引入1.17-vvr-8.0.4-1的ververica-connector-mysql时,启动flink项目会报错,报错没有MySqlValidator这个类，怎么处理？
参考答案：
部分类加密了,要配合ververica-connector-mysql-1.17-vvr-8.0.4-1-uber,这个包一起使用。
关于本问题的更多回答可点击进行查看：
https://developer.aliyun.com/ask/627746
问题四：跑flink程序的时候报这样的错误怎么解决？
跑flink程序的时候报这样的错误怎么解决？2024-05-09 11:03:12
org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold. The latest checkpoint failed due to Checkpoint expired before completing., view the Checkpoint History tab or the Job Manager log to find out why continuous checkpoints failed.
at org.apache.flink.runtime.checkpoint.CheckpointFailureManager.checkFailureAgainstCounter(CheckpointFailureManager.java:212)
at org.apache.flink.runtime.checkpoint.CheckpointFailureManager.handleJobLevelCheckpointException(CheckpointFailureManager.java:169)
at org.apache.flink.runtime.checkpoint.CheckpointFailureManager.handleCheckpointException(CheckpointFailureManager.java:122)
at org.apache.flink.runtime.checkpoint.CheckpointCoordinator.abortPendingCheckpoint(CheckpointCoordinator.java:2155)
at org.apache.flink.runtime.checkpoint.CheckpointCoordinator.abortPendingCheckpoint(CheckpointCoordinator.java:2134)
at org.apache.flink.runtime.checkpoint.CheckpointCoordinator.access$700(CheckpointCoordinator.java:101)
at org.apache.flink.runtime.checkpoint.CheckpointCoordinator$CheckpointCanceller.run(CheckpointCoordinator.java:2216)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180)
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:750)
参考答案：
execution.checkpointing.tolerable-failed-checkpoints 不需要额外的调小，使用产品默认，checkpoint 失败不影响任务运行，数据计算，无需非要 Failover 来告知，至于 checkpoint 失败的原因可以参考https://mp.weixin.qq.com/s/5o8rbz07Je17ZHnRz97-Rg 逐一排查下
关于本问题的更多回答可点击进行查看：
