问题一：Flink CDC里tidb 同步数据自定义sink 老是出现这两个报错 是怎么回事呢？
Flink CDC里tidb 同步数据自定义sink 老是出现这两个报错 是怎么回事呢？连接是用的 flink sql 写是自定义sink。 
这个是偶尔出现 我看源码那儿 我按理说数据是有的 任务不会一会儿正常一会空指针吧？ 
参考回答：
你这是代码有bug 空指针异常呀。那就是数据有脏数据，代码不够健壮。建议多测试多print。
关于本问题的更多回答可点击原文查看：
https://developer.aliyun.com/ask/596207?spm=a2c6h.13066369.question.31.283f3f33hXVel2
问题二：flink cdc3中，用flink standalone集群，我如何将这个任务提交到yarn上呢？
flink cdc3中，使用Pipeline Connector JAR的方式，将mysql整库同步到doris中。官网上，用的是flink standalone集群，我如何将这个任务提交到yarn上呢？
参考回答：
在 Flink CDC 3.0 中，如果你希望将基于 Pipeline Connector 的 MySQL 整库同步任务提交到 YARN 上运行，你可以按照以下步骤操作：
1.构建作业 JAR 包：
使用 Maven 或 Gradle 构建工具将 Flink CDC 项目打包成一个可执行的 JAR 包，确保其中包含了所有必要的依赖，包括 Flink CDC 的 MySQL connector 和 Doris sink。
2.配置 Flink on YARN：
修改 Flink 配置文件 flink-conf.yaml，确保配置了正确的 YARN 集群连接参数，如ResourceManager 地址、队列名称、容器资源大小等。
# 示例配置项 yarn.application-id: application_1234567890 yarn.resourcemanager.address: hadoop-cluster:8032 yarn.queue: default taskmanager.memory.process.size: 2048m
3.准备 Flink YAML 配置文件：
创建一个用于 Flink on YARN 的作业特定配置文件，例如 job.properties，定义 CDC 作业的相关配置，如源数据库、目标 Doris 端点等。
4.提交作业到 YARN：
使用 Flink 的命令行客户端提交作业至 YARN cluster。通过 yarn-session 模式或 per-job 模式提交都可以。
Per-Job 模式：
./bin/flink run -m yarn-cluster -yn <number-of-taskmanagers> -ys <slots-per-tm> -c <main-class> <path-to-your-jar> --configPath job.properties
其中 应替换为你的 CDC 作业入口类， 是之前构建好的 JAR 文件路径。
Application Mode：
如果你打算长期运行一个 Flink session 在 YARN 上，可以先启动一个 Application Master，然后在该 session 中提交作业。
启动 Flink YARN session:
./bin/yarn-session.sh -n <number-of-taskmanagers> -tm <task-manager-memory-size>
然后在 session 启动后，通过 Flink 的 REST API 或者命令行提交作业:
./bin/flink run -m yarn-cluster -c <main-class> <path-to-your-jar> --configPath job.properties
5.监控与管理：
提交成功后，可以通过 Flink Web UI 或 YARN ResourceManager Web UI 监控作业状态和资源使用情况。
关于本问题的更多回答可点击原文查看：
https://developer.aliyun.com/ask/596204?spm=a2c6h.13066369.question.32.283f3f330C4VLZ
问题三：Flink CDC里任务失败会自动清除其他机器的checkpoint文件，只保留本机的东西吗？
Flink CDC里任务失败会自动清除其他机器的checkpoint文件，只保留本机的checkpoint么？我这个问题就是 taskmanager1执行任务 然后挂掉了，重启，taskmanager2接手这个任务，但是在2这个机器里找不到checkpoint的文件。
参考回答：
问题一解答：
Apache Flink 的 Checkpoint 存储机制不会自动清除其他 TaskManager 上的 Checkpoint 文件。在 Flink 集群中，Checkpoint 文件是全局共享的，这意味着当任务发生故障并需要在其他 TaskManager 上恢复时，新的 TaskManager 应该能够访问到之前存储在持久化存储上的 Checkpoint 数据。
当 TaskManager1 执行的任务失败并且 TaskManager2 接手任务时，TaskManager2 应该从集中式存储（如 HDFS、S3 或者 NFS）中读取 Checkpoint 数据进行恢复，而不是从本地磁盘查找。Flink 不会仅在本地保留 Checkpoint，而是会配置一个统一的 Checkpoint 存储目录，所有 TaskManager 都能访问这个目录。
如果在 TaskManager2 上找不到 Checkpoint 文件，可能的原因包括：
Checkpoint 存储目录配置错误或不一致。
Checkpoint 未成功写入到集中式存储。
网络问题导致 TaskManager2 无法访问集中式存储上的 Checkpoint。
Checkpoint 已经被误删除或清理。
问题二解答：
对于 Checkpoint 文件丢失的情况，可以采取以下措施：
检查配置：确认 Flink 作业的 Checkpoint 存储目录配置正确且所有 TaskManager 能够访问同一个共享目录。
查看日志：查阅 Flink 作业和 TaskManager 的日志，寻找关于 Checkpoint 写入失败或读取失败的线索。
手动备份恢复：如果确实有 Checkpoint 文件存在于部分 TaskManager 的本地磁盘上，可以尝试手动将其复制到正确的集中式存储位置，然后更改作业配置指向这个有效的 Checkpoint。
Checkpoints 清理策略：了解并确认 Flink 集群的 Checkpoint 清理策略，确保在任务失败后，有效的 Checkpoint 不会被过早地清理掉。
验证存储系统健康状况：确认集中式存储系统的健康状况，确保没有 I/O 错误或其他问题阻止 Checkpoint 数据的写入和读取。
维护一致性：在高可用模式下运行 JobManager 和 ZooKeeper（如果使用）以确保整个集群状态的一致性和可靠性。
关于本问题的更多回答可点击原文查看：
https://developer.aliyun.com/ask/596202?spm=a2c6h.13066369.question.33.283f3f33A2uxHu
问题四：Flink CDC里我的flink集群的checkpoint文件是存在本地的，但是找不到报错为什么？
Flink CDC里我的flink集群的checkpoint文件是存在本地的，然后我手动kill掉taskmanager，任务在其他机器上重启时，报错找不到checkpoint文件，这种情况怎么解决？通过state.checkpoints.dir这个配置在集群所有机器全部创建checkpoint文件么？
参考回答：
设置下清除策略就行。env.getCheckpointConfig().enableExternalizedCheckpoints() 
加上 ExternalizedCheckpointCleanup.DELETE_ON_CANCELLATION 就行。如果要断点续传的话，你就设置下清除策略，就不会清除了。
关于本问题的更多回答可点击原文查看：
https://developer.aliyun.com/ask/596201?spm=a2c6h.13066369.question.34.283f3f33LBqcOL
问题五：Flink CDC里 source tidb 报错怎么办呀？
Flink CDC里 source tidb 报错怎么办呀？ org.tikv.shade.com.fasterxml.jackson.databind.exc.UnrecognizedPropertyException: Unrecognized field "AuthPlugin"
参考回答：
在 Apache Flink CDC 中使用 TiDB 作为数据源时，如果遇到 org.tikv.shade.com.fasterxml.jackson.databind.exc.UnrecognizedPropertyException: Unrecognized field "AuthPlugin" 这样的错误，通常表示 JSON 解析器在反序列化 TiDB 返回的信息时遇到了未知字段（"AuthPlugin"）。
这是因为 Flink CDC 的 TiDB 连接器在解析 TiKV 或 PD 返回的 JSON 结构时，未预期到 "AuthPlugin" 这个属性。可能的原因包括：
版本不兼容：如果你使用的 Flink CDC 版本与 TiDB 版本之间存在不兼容的情况，某些新引入的字段可能会在旧版连接器中无法识别。
连接器配置问题：TiDB 的连接配置中包含了不受连接器支持的新特性或选项。
TiDB 端的变更：TiDB 服务端的接口发生了变化，增加了新的字段，而 Flink CDC 的 TiDB 连接器尚未更新以支持该字段。
解决方法：
升级 Flink CDC 版本：确保使用的 Flink CDC 版本与正在运行的 TiDB 版本相兼容，特别是 TiDB CDC 插件的版本。
检查连接配置：确保在 Flink CDC 中配置 TiDB 数据源时，没有启用不受支持的高级选项或特性。
临时解决方案：如果快速解决问题至关重要，可以尝试修改 Flink CDC 连接器中的 JSON 序列化/反序列化代码，忽略或适配“AuthPlugin”字段，但这不是长久之计。
关于本问题的更多回答可点击原文查看：
https://developer.aliyun.com/ask/596200?spm=a2c6h.13066369.question.35.283f3f33LIKl4x
