问题一：Flink 并行度设置为1的时候，全量增量同步都没问题，并行度增大时，全量没问题增量同步不过来
FlinkCDC 并行度设置为1的时候，全量增量同步都没问题，当并行度增大时，第一次全量同步没问题，后续增量同步不过来
参考回答：
这可能是因为在并行度为1的情况下，Flink的全量和增量同步都可以正常工作，但是在并行度更大的情况下，全量同步可以正常工作，但是增量同步出现了问题。这可能是因为在并行度更大的情况下，Flink的增量同步算法可能无法正确处理数据，导致增量同步出现问题。你可以尝试调整Flink的并行度为更小的值，或者检查你的数据源和Flink的配置，以确定问题的具体原因。
关于本问题的更多回答可点击原文查看：https://developer.aliyun.com/ask/572940
问题二：Flink的集群模式区别，有何优缺点
Flink三种集群模式，Standalone模式，Flink On YARN，Flink On K8S，这三种模式有啥优缺点，生产环境如何选择呢？
参考回答：
Flink提供了三种集群部署模式：
- Standalone模式是最简单的部署模式，不需要依赖外部组件即可运行，适用于测试环境或小规模的应用场景。
- Flink on YARN是Yarn资源管理器上的部署模式，可以充分利用YARN的优势，实现多租户共享计算资源。
- Flink on Kubernetes是Kubernetes容器编排平台上的部署模式，可以更好地利用容器技术的优势进行弹性伸缩和平滑迁移。
每种模式都有各自的特点和适用场景：
Standalone模式的优点是可以快速搭建并运行Flink集群，并且不需要额外的资源管理系统；缺点是没有资源隔离，当多个应用共用同一台机器时可能发生资源竞争。另外，当应用数量增加时，集群扩展性和管理复杂度也会提高。
Flink on YARN的优点是提供了强大的资源管理和隔离能力，可以同时运行多个应用，而且可以根据需要动态分配资源；缺点是在安装和维护方面相比Standalone模式更加复杂。
Flink on Kubernetes的优点是提供了更好的资源管理和容错能力，并且可以无缝集成到现有的Kubernetes生态系统中；缺点是对于Kubernetes有一定的学习成本和技术门槛。
在实际生产环境中，根据项目需求选择合适的部署模式非常重要。如果项目规模较小，可以选择StandAlone模式；如果项目涉及多个应用共享资源，可以选择Flink on YARN；如果是大规模分布式场景，推荐采用Flink on Kubernetes。
关于本问题的更多回答可点击原文查看：https://developer.aliyun.com/ask/572892
问题三：Flink CDC使用Flink SQL如何将两个Job合并为一个进行执行
目前遇到一种使用场景
（1）使用Flink CDC如何将两个insert into xxx select * from xxxx;合并为一个job呢？
（2）如果每个表为一个job，生产环境会产生大概10000个左右的job，大概需要占用多大的内存空间，这个是如何估算的，或者说需要多大的内存才能支撑起这个job数量
参考回答：
Flink CDC的一个Job只能同步一张表的数据。如果你想要同时处理两张表，可能需要创建两个不同的Job。
对于第二个问题，关于任务的数量与所需的内存之间的关系，这完全取决于你的具体用例。任务的数量并不直接决定所需的内存量。更关键的因素包括你的数据量、你的处理逻辑复杂性等。
关于本问题的更多回答可点击原文查看：https://developer.aliyun.com/ask/572858
问题四：Flink cdc解析的是oracle的redo日志还是归档日志？
Flink cdc解析的是oracle的redo日志还是归档日志？
参考回答：
Flink CDC确实支持解析Oracle的在线redo日志，也即是Oracle的重做日志。”则Flink cdc解析的是Oracle的 redo 日志。
关于本问题的更多回答可点击原文查看：https://developer.aliyun.com/ask/572785
问题五：使用Flink CDC，生产环境要申请的服务器如何评估
基于Hadoop Yarn去使用Flink cdc，想申请生产环境的服务器，目前遇到的问题是：
不知如何评估对应的服务器配置，评估标准是什么？
有什么评估标准吗，根据总数据量还是增量数据，又或者是Job的数量？
cpu、内存、硬盘的大小又该如何评估？
参考回答：
评估服务器配置主要取决于以下几个因素：
- 总数据量和增量数据：如果您的集群需要处理大量数据（例如TB级别），则需要更大的CPU、内存和磁盘空间。同时，还需要评估实时处理增量数据的速度和频率，因为它们会影响到所需的硬件性能。
- Job的数量：您需要多少个并发任务也是一个重要的因素。每增加一个新的Job，都会消耗更多的CPU和内存资源。
- 作业类型：不同类型的任务会对硬件有不同的需求。例如，批处理作业可能需要更高的内存和CPU资源，而流式作业则可能需要更快的网络带宽。
- 数据源类型和结构：不同类型的数据源和结构可能会影响所需硬件配置的不同方面，例如访问延迟或IO吞吐量。
基于以上因素，可以初步估算出每个服务器所需的CPU、内存和磁盘空间大小。可以根据实际情况增加冗余和扩展能力来确定最终的服务器配置。对于大型集群而言，请务必与专业人员合作以确保正确估算硬件需求，避免资源浪费或性能瓶颈。还需要考虑在高负载下的系统性能和稳定性，因此建议根据预期的高峰期流量来确定服务器数量。监控系统性能，并适时调整服务器配置以适应不断变化的需求。
关于本问题的更多回答可点击原文查看：https://developer.aliyun.com/ask/572770
