flink jdbc 导入doris时，大家有遇到数据版本堆积过多吗？

遇到Flink JDBC导入Doris时数据版本堆积过多，以及报错close wait failed coz rpc error. tablet writer write failed, tablet_id=19142, txn_id=2224, err=-235的问题，可以按照以下步骤进行排查和解决：

问题描述

• 数据版本堆积过多，通常是因为数据导入频率过快，导致数据未能及时合并（Compaction），进而超过系统支持的最大未合并版本数。
• 报错信息表明在写入特定tablet时发生错误，可能是由于并发写入冲突、资源限制或配置不当引起。

可能原因

• 数据导入速度：数据导入操作过于频繁，使得compaction无法跟上写入速度。
• 并发控制与资源限制：并发写事务达到上限，或者BE的资源（如内存、CPU）被耗尽，影响了写操作的正常执行。
• 配置不当：BE端的合并策略配置可能不够优化，不足以应对当前的数据导入速率。

解决步骤

1. 调整数据导入策略：

   • 增大单次导入的数据量，减少导入频率，以降低版本堆积的风险。

2. 优化BE配置：

   • 在BE的配置文件be.conf中调整合并策略参数，例如增加合并线程数和检查间隔，以加速compaction过程：

     cumulative_compaction_num_threads_per_disk = 4
     base_compaction_num_threads_per_disk = 2
     cumulative_compaction_check_interval_seconds = 2
     

   • 确认并调整tc_use_memory_min参数，避免BE内存管理问题导致的性能瓶颈。

3. 检查并发写事务限制： 如果错误信息涉及到事务并发限制，需检查并适当调整Doris的相关配置，确保并发事务数量不超过系统设定的上限。

4. 监控与资源管理：

   • 监控集群资源使用情况，包括CPU、内存及磁盘I/O，确保没有资源过度消耗的情况。
   • 调整TaskManager或作业配置，合理分配资源，避免资源争抢。

5. 日志分析与故障排查：

   • 检查Doris BE节点的日志，寻找更详细的错误上下文，以便进一步定位问题。
   • 使用SHOW LOAD命令检查是否有标签冲突或重复提交的导入作业，这可能导致写入失败。

6. 客户端超时设置：

   • 根据实际数据量和导入耗时，适当调大客户端请求的超时时间，避免因超时重试导致的重复写入尝试。

注意事项

• 在调整任何配置前，请确保有完整的备份计划，以防配置修改导致的意外中断。
• 针对特定错误码（如err=-235），查阅Doris官方文档或社区讨论，了解其具体含义及针对性解决方案。

通过上述步骤，应能有效缓解数据版本堆积问题，并处理写入失败的错误。如果问题依然存在，建议深入分析日志，并考虑联系技术支持获取帮助。