flink多sink写mysql，每个sink按主键更新部分字段，数据丢失，有大佬遇到过么

问题描述

用户在使用Flink实现多sink写入MySQL场景时，遇到每个sink根据主键仅更新部分字段的情况，但发现存在数据丢失的问题。

背景信息

• Flink SQL与CDC操作：Flink支持通过SQL定义数据流处理，并能够捕获MySQL数据库的变化数据（CDC），实现数据的实时同步和处理。
• 多sink写入：在Flink作业中配置多个sink，允许数据流向不同的目标，适用于数据分发或备份等场景。
• 按主键更新：当sink配置了主键且写入MySQL时，Flink会采用INSERT INTO ... ON DUPLICATE KEY UPDATE语句尝试更新已存在的记录。

解决方案

1. 检查主键唯一性冲突：

   • 确认是否有除主键外的唯一索引导致数据覆盖。如果存在这样的索引约束，且sink插入的数据在该索引上与其他记录冲突，将导致数据被新记录覆盖，从而看似“丢失”。

2. 避免并发写入冲突：

   • 检查是否因多sink同时写入同一记录而引起冲突。确保sink策略能妥善处理并发写入，例如使用幂等写入逻辑或乐观锁/悲观锁机制来控制并发更新。

3. 配置sink参数：

   • 考虑设置sink.ignore-delete = true以忽略可能由其他sink触发的删除操作，避免数据被意外删除。
   • 如果更新字段值可能为null，且希望保持原字段值不变而非更新为null，可设置sink.ignore-null-when-update = true，但需注意此配置对版本有要求，并可能影响数据延迟和内存使用。

4. 审查数据流逻辑：

   • 仔细检查Flink作业的逻辑，确认没有因为错误的数据路由逻辑或转换步骤导致部分数据未能正确送达预期的sink。

5. 优化sink策略：

   • 若条件允许，考虑调整sink策略，比如合并sink减少直接针对同一主键的并发更新，或者采用更细粒度的分区策略来分散写压力。

注意事项

• 数据一致性和事务性：确保Flink作业配置了适当的一致性保证级别，如Exactly Once，以减少数据不一致的风险。
• 版本兼容性：上述配置选项的有效性和行为可能依赖于Flink的具体版本，请参考所使用的Flink版本文档进行配置。
• 性能考量：增加并发控制和事务管理可能会对整体吞吐量和延迟产生影响，需要权衡业务需求与系统性能。

总结

数据丢失问题可能源于多个方面，包括但不限于主键及唯一索引冲突、并发写入控制不当、sink配置不合适等。通过细致排查上述方面并采取相应的解决措施，可以有效缓解或解决数据丢失问题。务必关注Flink作业的配置细节以及版本兼容性，确保数据处理逻辑的严谨性和高效性。