Flink中lookup join 查找表必须是主键join嘛？

在Flink中，Lookup Join 的查找表（维表）是否必须使用主键进行 Join，取决于具体的场景和连接器的实现。以下是详细说明：

1. 主键 Join 的推荐场景

• Hologres 维表：
  如果使用 Hologres 作为维表，并选择行存模式创建表，则必须设置主键，并且将主键设置为 Clustering Key 才能正常工作。

  • 主键点查（即一对一查询）是性能最优的方式，建议优先使用主键作为 Join 条件。
  • 如果无法使用主键作为 Join 条件（例如一对多查询），可以选择列存模式，并合理设置分布键（Distribution Key）和事件时间列（Segment Key）以优化性能。

• Redis 维表：
  Redis 维表要求必须声明且只能声明一个主键，Join 条件中也必须包含主键的等值条件。

• 其他维表：
  对于某些维表（如 HBase、Lindorm 等），通常也需要定义主键或行键作为 Join 条件。

2. 非主键 Join 的支持情况

• Hologres 维表：
  在 VVR 4.0 及以上版本中，如果使用 JDBC 模式，支持非主键点查的维表 Join。但需要注意，非主键点查对性能影响较大，查询速度较慢。

• MySQL 维表：
  MySQL 维表支持非主键 Join，但为了提高性能，建议按照 MySQL 的最左前缀原则排列 Join 指定的数据列。不过，这并不能保证一定命中索引，具体执行计划需要在数据库侧查看。

• Elasticsearch 维表：
  Elasticsearch 维表支持指定主键或不指定主键的 Join：

  • 如果指定了主键，Join 时的 Key 必须有且只能有一个；
  • 如果未指定主键，Join 时的 Key 可以有多个。

3. 特殊情况下的状态管理

在某些情况下，即使没有主键，Lookup Join 也可能引入状态管理机制： - 如果配置了 table.optimizer.non-deterministic-update.strategy='TRY_RESOLVE' 参数，并且优化器检测到潜在的非确定性更新问题，系统会自动引入状态算子来处理动态变化的数据。 - 这种情况适用于结果表定义了主键，而这些主键部分或完全来自于维表，同时维表中的数据可能会发生变化（如通过 CDC Lookup Source 机制捕获变更）。

4. 异步 Lookup Join 的注意事项

• 在 VVR 8.0.10 及以上版本中，可以通过配置 table.exec.async-lookup.key-ordered-enabled='true' 参数，确保相同更新键的消息按进入算子的顺序处理。
• 此功能适用于更新流场景，但需要注意：
  • 当短时间内同一更新键频繁更新时，吞吐量可能会降低。
  • 开启或关闭该模式会影响状态兼容性。

5. 总结与建议

• 主键 Join 是推荐的最佳实践，尤其是在性能敏感的场景下。
• 非主键 Join 虽然支持，但性能较差，应尽量避免在高并发或大数据量场景下使用。
• 如果业务需求无法满足主键 Join，建议根据具体连接器的限制和优化建议进行调整，例如合理设置分布键、索引或 Shuffle 策略。

重要提醒：在设计 Lookup Join 时，请务必结合实际业务需求和维表特性，选择合适的 Join 方式和优化策略，以确保作业的性能和正确性。