Flink CDC有无关于ttl的资料？

Flink CDC（Change Data Capture）在实时计算 Flink 版中支持通过配置 TTL（Time-To-Live）来管理状态的生命周期，从而优化作业性能和资源使用。以下是关于 Flink CDC 和 TTL 配置的相关资料和说明：

1. TTL 的基本概念

TTL 是指状态的生命周期，用于控制状态数据的过期时间。通过设置 TTL，可以显著减少算子状态的大小，增强系统稳定性和可靠性。

• 全局 TTL 配置：可以通过作业参数 table.exec.state.ttl 设置全局的状态生命周期。例如：

  table.exec.state.ttl: 129600000 # 单位为毫秒，默认值为1.5天
  

  注意：Blink 引擎中的 state.backend.gemini.ttl.ms 或 state.backend.niagara.ttl.ms 参数在 Flink SQL 作业中会被覆盖，无法生效。

• 优先级规则：TTL 配置的生效优先级从高到低依次为：

  1. 专家模式下的算子粒度 TTL 配置。
  2. 状态生命周期提示（State TTL Hints）。
  3. 全局作业参数配置（table.exec.state.ttl）。

2. CDC 源表与 TTL 的关系

在使用 Flink CDC 源表时，TTL 的配置尤为重要，尤其是在处理历史全量数据和增量 Binlog 数据时：

• Binlog 数据的 TTL 问题：如果 Binlog 的 TTL 设置过大，会导致历史数据长时间保存，占用较多存储资源；而设置过小可能导致状态过期，引发 Retraction 错误（如 Can not retract a non-existent record）。

  • 解决方案：建议根据业务需求合理设置 table.exec.state.ttl 参数，避免因状态过期导致的数据丢失问题。

• 全增量一体消费模式：从 VVR 4.0.13 及以上版本开始，Hologres Binlog CDC 源表支持全增量一体消费模式。这种模式会先读取历史全量数据，然后平滑切换到增量 Binlog 数据消费，从而避免了设置过大的 Binlog TTL 带来的存储和计算资源浪费。

3. 算子粒度的 TTL 配置

对于有状态算子（如双流联接算子和分组聚合算子），可以从算子粒度设置 TTL，进一步优化资源使用：

• 双流联接算子：

  • 在 VVR 8.0.7 及以上版本，可以通过状态生命周期提示或双流 JOIN Hints 来设置 TTL。
  • 在 VVR 8.0.1 至 8.0.6 版本，仅支持通过双流 JOIN Hints 设置 TTL。

• 分组聚合算子：

  • 在 VVR 8.0.7 及以上版本，通过分组聚合状态生命周期提示实现。
  • 在 VVR 8.0.6 及以前版本，不支持配置算子状态生命周期提示。

• 专家模式配置：在专家模式下，可以为单个算子配置并发数、Chaining 策略和 TTL。具体步骤如下：

  1. 在作业部署详情页面，选择 专家模式。
  2. 开启 多 SSG 模式，让每个算子拥有独立的 Slot。
  3. 修改目标算子的 TTL 配置，支持以秒、分钟、小时或天为单位设置过期时间。

4. 其他相关配置

• MiniBatch 和 TTL 的交互：

  • 在开启 State TTL 的情况下，MinibatchGlobalAgg 和 MinibatchAgg 节点默认不会向下游发送重复数据。这可能导致下游有状态节点因长时间未收到数据而导致自身状态过期。
  • 可通过设置参数 table.exec.agg.mini-batch.output-identical-enabled 为 true，强制这些节点即使聚合结果未变化也向下游发送数据。

• MySQL CDC 源表的特殊注意事项：

  • 如果读取的表曾经发生过表结构变化，从最早位点或特定位点启动可能会失败，因为 Debezium 读取器无法解析早期数据。
  • 对于无主键的 MySQL CDC 源表，必须设置 scan.incremental.snapshot.chunk.key-column，并选择非空类型的字段作为分片键。

5. 重要提醒

• TTL 设置过小的风险：如果 table.exec.state.ttl 参数值设置过小，可能导致状态被清理，进而引发 Retraction 错误。建议根据业务需求合理调整 TTL 值。
• 专家模式的使用限制：仅 VVR 8.0.7 及以上版本支持算子粒度的 TTL 配置。在低版本中，需依赖全局参数或状态生命周期提示。
• CDC Source 复用的影响：在开启 CDC Source 复用时，建议不要将 pipeline.operator-chaining 设为 false，否则会增加序列化和反序列化的开销。

通过上述配置和优化，您可以更好地管理 Flink CDC 作业中的状态生命周期，提升作业性能和稳定性。