问题一：Flink CDC中lceberg是也支持流式读取吧？非changelog概念但是也能用流处理对吗？
Flink CDC中lceberg是也支持流式读取吧？非changelog概念但是也能用流处理对吗？
参考答案：
Iceberg是一个开源的、面向大规模数据处理的统一数据湖存储，它支持多样化的计算模型，并且可以适配多种引擎，包括Spark、Presto和Flink等。在Flink中，Iceberg确实支持流式读取，这表现在几个方面：首先，Iceberg支持通过流式方式读取增量数据，这种机制对于需要近实时导入和实时数据读取的场景特别有用；其次，Iceberg与Flink的集成非常紧密，例如Structed Streaming和Flink table Source都可以很好地与Iceberg进行集成，以便于流式数据处理；最后，Iceberg提供的事务（ACID）支持确保了上游数据的写入可见性，从而不会影响当前的数据处理任务。因此，可以说Iceberg不仅支持流式读取，而且在Flink中有着良好的应用表现。
关于本问题的更多回答可点击进行查看：
https://developer.aliyun.com/ask/579926
问题二：Flink CDC为啥inti全量的时候，一定要把表里数据全部读取完才能完成一个了吗？
Flink CDC为啥inti全量的时候，一定要把表里数据全部读取完才能完成一个checkpoint了？
我遇到一张6亿数据的表，初始化的时候，flink cdc读取要好久全量没有还读取完，第一个checkpoint一直等待没有完成了？
参考答案：
Flink CDC在初始化全量数据同步时，需要将整个表的数据全部读取完毕才能完成一个checkpoint。这是因为在全量同步阶段，CDC Connector会读取整张表的所有数据，并将其发送到下游的处理节点进行处理。这个过程确保了数据的完整性和一致性。
然而，这种设计在某些场景下可能会导致问题。例如，当表中的数据量非常大（如您提到的6亿条数据），全量读取的过程可能会非常耗时，甚至可能出现长时间的等待或者作业失败的情况。为了解决这个问题，可以考虑使用Flink CDC的增量同步模式。在这种模式下，CDC Connector会在全量数据同步完成后开始监听binlog日志并进行增量同步，这样就不需要再等待全量数据读取完毕了。
值得注意的是，从Flink CDC 2.0版本开始，该工具已经在全量数据的并发读取、checkpoint、无锁读取等方面进行了重大改进。特别是在无锁读取的支持下，Flink CDC 2.0能够实现高并发的水平扩展，并且在断点续传方面也有很好的表现。
关于本问题的更多回答可点击进行查看：
https://developer.aliyun.com/ask/579924
问题三：Flink CDC全量是要读取完，kafka事务时间要大于全量读取完时间？
Flink CDC全量是要读取完，kafka事务时间要大于全量读取完时间？
参考答案：
Flink CDC在进行全量数据同步时，需要将整个表的数据全部读取完毕才能完成一个checkpoint。而Kafka的事务时间应该是大于全量读取完的时间，这样可以确保在全量数据读取和处理过程中，Kafka中的数据不会被重复消费或者丢失。
然而，需要注意的是，Flink CDC的底层实现是基于Debezium，其架构是单节点的，这意味着Flink CDC不支持水平扩展，并且只支持单并发。因此，如果表非常大（例如亿级别），全量读取的时间可能会非常长，甚至达到小时或天级别。在这种情况下，用户不能通过增加资源来提高作业速度。
不过，从Flink CDC 2.0版本开始，该工具已经在全量数据的并发读取、checkpoint、无锁读取等方面进行了重大改进。特别是在无锁读取的支持下，Flink CDC 2.0能够实现高并发的水平扩展，并且在断点续传方面也有很好的表现。这些改进有助于解决全量数据同步过程中可能遇到的各种问题，提高数据处理的效率和稳定性。
关于本问题的更多回答可点击进行查看：
https://developer.aliyun.com/ask/579923
问题四：Flink CDC有遇到过mvn tree看完没有依赖得包 反而打包后有依赖得包吗？
Flink CDC有遇到过mvn tree看完没有依赖得包 反而打包后有依赖得包吗？看effective-pom里有这个包
参考答案：
增大checkpoint的时间
关于本问题的更多回答可点击进行查看：
https://developer.aliyun.com/ask/579922
问题五：Flink CDC上游采集 指的是 binlog文件生成吗？
Flink CDC上游采集 指的是 binlog文件生成吗？
参考答案：
调大这个参数和checkpoint时间
关于本问题的更多回答可点击进行查看：
