问题一：Flink CDC有两个问题1：3.0实时再跑的，当我没有到指定时间，这个资源一直暂用那么高吗？
Flink CDC有两个问题1：3.0实时再跑的，当我没有到指定时间，这个资源一直暂用那么高吗？还是说 空闲是资源会释放？问题2：这个是不是增量读取快照？还是每次调度都是全量快照？mode=snaphot+调度工具有案例吗？
参考回答：
Flink CDC是Flink社区开发的Source Connector，可以从MySQL等数据库读取快照数据Flink CDC是Flink社区开发的Source Connector，可以从MySQL等数据库读取快照数据和增量数据。在全量阶段，Flink CDC会获取当前时间点之前的所有数据，并将其保存为一个快照。而在增量阶段，Flink CDC会持续监控数据库的变化，并实时获取增量数据。
对于你的第一个问题，当Flink任务正在运行时，它会一直占用相应的资源，包括CPU、内存等。如果你没有指定任务的运行时间，那么任务会一直运行，对应的资源也会一直被占用。但是，如果你的任务在空闲状态，资源是否会释放取决于你的具体设置和集群的管理策略。
对于你的第二个问题，Flink CDC支持增量快照读取模式。这种模式下，Flink CDC只需要获取从上次快照之后发生变化的数据，而不需要重新读取整个表的数据。这大大提高了读取效率，特别是在处理大量数据时。在Flink CDC 2.0中，实现了全程无锁读取，全量阶段并行度更高。同时，Flink CDC的增量快照读取算法早期只在MySQL CDC上支持，为了其他CDC Connector也能够轻松地接入，获得无锁读取，并发读取，断点续传等高级能力。在2.2版本中，推出了增量快照框架。
关于本问题的更多回答可点击原文查看：
https://developer.aliyun.com/ask/575275
问题二：Flink CDC 2.3.0? update_time = 昨天时间,这个任务资源是一直暂用的吗？
Flink CDC 2.3.0?
update_time = 昨天时间,这个任务资源是一直暂用的吗？还是需要通过调度启动？
参考回答：
在 Flink CDC 2.3.0 版本中，当使用 update_time 参数指定任务的起始时间为昨天时，任务资源将会一直占用，直到任务完成或手动停止。
在 Flink 中，CDC任务是以长期运行的方式执行的。一旦启动，它将持续监听和抽取源数据库的增量更新，并按照指定的时间范围进行读取。因此，在您指定了昨天的时间作为起始时间后，任务将会一直运行并处理从昨天开始的所有增量数据。
需要注意的是，如果没有新的增量数据到达，任务可能会处于空闲状态，但仍然会占用资源。这是因为任务需要保持与源数据库的连接，并随时准备接收新的增量数据。
如果希望根据特定的调度策略来启动和停止CDC任务，您可以考虑使用调度工具（例如 cron、Airflow 等）来设置定时触发器，以便在特定的时间点启动和停止任务。这样可以更好地控制任务的资源占用和运行时间。
关于本问题的更多回答可点击原文查看：
https://developer.aliyun.com/ask/575274
问题三：Flink CDC任务里有三个 全量+增量 的数据同步。并没有下降（如下图红框），这是为什么呀？
Flink CDC任务里有三个 全量+增量 的数据同步。现在有两个已经完成了全量同步（如上图蓝框），但是我查看任务所占的内存，并没有下降（如下图红框），这是为什么呀？是否正常，可否优化？ 
参考回答：
在Flink CDC任务中，全量和增量数据同步完成后，理论上内存占用应该有所下降。但您当前观察到的内存占用并未下降，可能的原因包括：
- 数据库连接池配置不合理：Flink CDC使用JDBC连接PostgreSQL数据库，如果连接池配置不合理，可能会导致数据库连接耗尽或连接超时等问题。
- Flink作业的配置问题：例如，Flink CDC的scan.startup.mode和debezium.snapshot.mode参数未正确配置，这可能导致全量同步未能成功执行。
- 存在其他未被发现的问题或异常情况。
为了减小Flink CDC的内存占用并进一步优化任务，您可以考虑以下建议：
- 优化Schema读取时间：通过设置table.scan.startup.timeout参数来限制Schema初始化读取的时间，例如
table.scan.startup.timeout = 60s。 - 调整checkpoint策略以减少内存占用：可以减少checkpoint使用的内存个数，例如将并行的checkpoint数量设置为2，并降低checkpoint的频率。
- 检查并确保所有相关配置项都已正确设置，并且与您的任务需求相匹配。
关于本问题的更多回答可点击原文查看：
https://developer.aliyun.com/ask/575273
问题四：Flink CDC写入maxcompute如何更新写入啊？
Flink CDC写入maxcompute如何更新写入啊？flink用的版本是1.15.4
参考回答：
在Flink 1.15.4 版本中，原生的 Flink CDC 库并不直接支持将数据写入 MaxCompute。然而，您仍然可以通过一些方式实现将 Flink CDC 数据写入 MaxCompute 的需求。
一种可行的方法是使用 Flink 的 Table API 和批处理连接器来完成这个任务。您可以按照以下步骤操作：
- 使用 Flink CDC 将数据抽取到 Flink 的 DataStream 中。
- 将 DataStream 转换为 Table，并使用 Table API 进行必要的转换和处理。
- 将 Table 写入 MaxCompute，可以使用 Flink 的批处理连接器（例如
org.apache.flink.connector.jdbc.JdbcSink）来编写自定义的 Sink 函数。 - 在自定义的 Sink 函数中，将数据插入或更新到 MaxCompute 中。您需要使用 MaxCompute 的 Java SDK 或其他 MaxCompute 客户端库来进行写入操作。
请注意，这种方法需要手动编写代码来处理数据从 Flink 到 MaxCompute 的写入逻辑，并且需要引入相应的 MaxCompute 客户端库。此外，由于批处理连接器是针对批处理作业设计的，性能可能会受到影响。
关于本问题的更多回答可点击原文查看：
https://developer.aliyun.com/ask/575271
问题五：Flink CDC这个参数 2.4.2 版本是不是 不生效？
Flink CDC这个参数 2.4.2 版本是不是 不生效？ 
参考回答：
是的，Flink CDC 2.4.2 版本中，scan.snapshot.fetch.size 这个参数不生效。这个参数在 Flink CDC 1.x 版本中有效，但在 2.x 版本中已经被移除。如果你需要设置读取表快照时每次读取数据的最大条数，可以考虑使用其他参数或者方法来实现。
关于本问题的更多回答可点击原文查看：
