Flink CDC统计数据量用了ttl是不是会出现数据遗失现象？

在使用Flink CDC进行统计数据量时，如果启用了TTL（Time-to-Live），确实可能会出现数据遗失现象。以下是详细的原因分析和解决方案：

原因分析

1. TTL机制的作用
   TTL用于设置状态数据的存活时间，超过该时间未被访问的状态数据将被自动清除。这种机制可以有效减少状态存储的开销，但同时也可能导致部分晚到的数据无法匹配到对应的状态，从而引发数据丢失。

2. CDC场景下的数据特性
   在Flink CDC场景中，数据通常以变更日志（如INSERT、UPDATE、DELETE）的形式流入系统。如果某些数据由于网络延迟、乱序或其他原因晚到，而其对应的状态已经被TTL清除，则这些数据将无法正确参与计算，导致统计结果不准确或数据丢失。

3. 典型问题场景

   • 如果TTL设置过短，晚到的数据可能无法找到对应的状态，导致统计结果异常。
   • 在JOIN、聚合等操作中，TTL过期可能导致部分数据被丢弃，进而影响最终结果。

解决方案

1. 合理设置TTL值
   根据业务需求和数据特性，设置一个合理的TTL值，确保在数据可能的延迟范围内状态不会被过早清除。例如：

   • 如果数据的最大延迟为1小时，建议将TTL设置为至少2小时，以避免因状态过期导致的数据丢失。
   • 对于跨天的统计任务，可以将TTL设置为25小时或更长，以覆盖可能的跨天漂移。

2. 启用MiniBatch优化
   在对延迟要求不高的场景下，可以通过开启MiniBatch攒批优化来减少状态的访问频率，从而降低TTL过期对数据的影响。具体配置如下：

   table.exec.mini-batch.enabled: true
   table.exec.mini-batch.allow-latency: 2s
   

   这种方式可以有效缓解因TTL过期导致的数据丢失问题。

3. 使用全增量一体消费模式
   如果使用Hologres作为数据源，可以考虑启用全增量一体消费模式。这种模式会先读取历史全量数据，然后平滑切换到增量消费Binlog数据，避免因Binlog TTL过期导致的历史数据丢失问题。示例代码如下：

   CREATE TABLE test_message_src_binlog_table(
      hg_binlog_lsn BIGINT,
      hg_binlog_event_type BIGINT,
      hg_binlog_timestamp_us BIGINT,
      id INTEGER,
      title VARCHAR,
      body VARCHAR
   ) WITH (
      'connector'='hologres',
      'dbname'='<yourDbname>',
      'tablename'='<yourTablename>',
      'username'='<yourAccessID>',
      'password'='<yourAccessSecret>',
      'endpoint'='<yourEndpoint>',
      'binlog' = 'true',
      'cdcMode' = 'true',
      'binlogStartUpMode' = 'initial'
   );
   

4. 调整Watermark策略
   如果数据存在乱序，可以通过调整Watermark生成策略来处理乱序数据。例如，定义Watermark生成策略为Watermark = Event time - 5s，以允许一定程度的乱序数据被正确处理。

5. 监控与告警
   定期检查作业的状态大小和TTL配置，确保状态清理不会对业务造成影响。同时，建议配置监控和告警，及时发现因TTL过期导致的数据异常。

重要提醒

• TTL的启用与关闭不完全兼容：当尝试在已开启TTL的作业上关闭TTL配置时，或者反过来操作时，可能会导致兼容性失败并引发StateMigrationException异常。因此，在调整TTL配置时需谨慎操作。
• TTL设置需结合业务场景：过短的TTL可能导致数据丢失，而过长的TTL会增加资源消耗。建议根据实际业务需求和数据特性进行合理配置。

通过以上方法，可以有效避免因TTL机制导致的数据遗失现象，同时提升作业的稳定性和性能。