FlinkCDC多表关联、多并行度数据丢失

可能是因为Flink任务的并行度设置不合理，导致数据处理存在瓶颈，从而导致数据丢失。在并行度为1时，由于只有一个任务在处理数据，数据处理的速度较慢，因此数据延迟特别高，但不会出现数据丢失的情况。

可以试试看

调整Flink任务的并行度。 调整Flink任务的资源配置。 针对数据丢失问题进行排查和调试。

可以尝试以下方法来解决数据丢失和延迟问题：

1. 检查源表和结果集表的数据类型和格式是否一致，确保数据能够正确地匹配和关联。

2. 调整 FlinkCDC 的并行度设置，尝试逐步增加并行度，直到达到最佳性能和稳定性的平衡点。

3. 检查 FlinkCDC 的配置参数，确保其能够正确地处理数据流和缓存，避免数据丢失和延迟。

4. 使用 FlinkCDC 提供的监控和诊断工具，及时发现和解决数据丢失和延迟问题，确保数据的准确性和完整性。

5. 如果以上方法都无法解决问题，您可以考虑使用其他数据处理工具或技术，以满足您的需求和要求。

在FlinkCDC多张表关联到结果集表时，需要注意以下几点，以尽可能避免数据丢失和延迟问题：

1. 确认关联条件是否正确：在多张表关联查询时，应该确认关联条件是否正确，并且在结果集表的主键列上创建索引，以提高查询效率。

2. 增加flink.taskmanager.network.memory.fraction的值：可以通过增加该参数的值来增加Flink任务管理器的网络内存占用比例，以提高并行度和并发查询的效率。

3. 增加flink.shuffle.network.buffer-size和flink.taskmanager.network.memory.max的值：可以通过增加这些参数的值来增加网络缓冲区的大小和任务管理器的内存限制，以支持更多的并行度和并发查询。

4. 应用容错机制：在多张表关联查询时，应该配置FlinkCDC的容错机制，以避免数据丢失和延迟问题。例如，开启FlinkCDC的Checkpoint机制和重启策略等，以提高Flink任务的容错能力。

5. 选择合适的Flink版本：不同的Flink版本对并行度和并发查询的支持情况可能会有所不同，应该选择适合自己业务需求的Flink版本，并尽可能升级到最新的版本，以保证FlinkCDC的性能和稳定性。

针对数据延迟特别高的问题，可以考虑在结果集表的主键列上创建分区，将数据分散到多个分区中，以减小单个分区的压力，提升查询性能。另外，可以考虑使用一些缓存技术，例如Redis等，将频繁访问的数据缓存起来，以减少频繁查询时的延迟。