Flink CDC中右表（维表）数据改变，手动触发对应的左表（流表）数据也改变。结果表数据也改变了？

在Flink CDC中，使用Lookup Join时，右表（维表）数据的改变是否会影响结果表的数据，取决于具体的配置和场景。以下是详细分析：

1. Lookup Join 的基本行为

Lookup Join 是一种常见的实时计算操作，用于将流表（左表）与外部维表（右表）进行关联。根据知识库中的描述，Lookup Join 的核心特性包括以下几点： - 维表数据快照：Lookup Join 默认是无状态的，每次查询维表时，获取的是当前时刻的维表数据快照。 - 非确定性更新问题：如果维表数据发生变化（新增、更新或删除），已关联的维表数据不会被同步变化。

因此，在默认情况下，Lookup Join 的结果表数据不应该因为维表数据的变化而改变。

2. 特殊情况下的有状态 Lookup Join

然而，某些特殊配置可能会导致 Lookup Join 成为有状态节点，从而影响结果表的行为。具体包括以下两种情况： 1. 启用非确定性更新策略： - 如果设置了作业参数 table.optimizer.non-deterministic-update.strategy: TRY_RESOLVE，当 Flink 检测到维表 Lookup Join 产生了非确定性更新（Non-Deterministic Updates）时，Lookup Join 算子会启用状态。 - 在这种情况下，Lookup Join 会记录维表的状态，并可能对后续的流表数据产生影响。

1. 异步参数配置：
   • 如果维表配置了异步参数（如 table.exec.async-lookup.output-mode），Lookup Join 算子也会启用状态。
   • 异步模式下，Lookup Join 可能会对流表数据进行重新处理，从而影响结果表的数据。

3. 手动触发左表数据改变的影响

在您的场景中，右表（维表）数据改变后，手动触发了左表（流表）数据的改变。这种操作可能导致以下结果： - 流表数据重新处理：当左表数据重新进入 Flink 流处理管道时，Lookup Join 会再次查询维表的当前数据快照。 - 结果表数据更新：如果 Lookup Join 是有状态的（如启用了非确定性更新策略或异步参数），则结果表数据可能会因为维表的最新状态而改变。

4. 如何避免结果表数据变化

如果您希望结果表数据不受维表变化的影响，可以采取以下措施： 1. 确保 Lookup Join 无状态： - 不设置 table.optimizer.non-deterministic-update.strategy: TRY_RESOLVE 参数。 - 避免为维表配置异步参数。

1. 使用静态维表：

   • 如果维表数据不频繁更新，可以将其作为静态维表加载到内存中，避免实时查询。

2. 明确 JOIN 条件：

   • 确保 ON 条件中包含维表实际支持随机查找的字段的等值条件。

5. 总结与建议

在默认情况下，Lookup Join 的结果表数据不应因维表数据的变化而改变。但如果启用了非确定性更新策略或异步参数，Lookup Join 可能会变为有状态节点，从而导致结果表数据的变化。为了避免这种情况，建议检查并调整相关配置，确保 Lookup Join 保持无状态。

如果您需要进一步确认当前作业的具体配置，可以通过查看作业参数或日志来验证是否启用了上述特殊配置。