开发者社区> 问答> 正文

客户在使用DataX工具连接StarRocks数据库的过程中遇到了IO异常,具体表现为'Fai...

已解决

客户在使用DataX工具连接StarRocks数据库的过程中遇到了IO异常,具体表现为'Failed to load data into tablet 5502080, because of too many versions, current/limit: 1001/1000. You can reduce the loading job concurrency, or increase loading data batch size. If you are loading data with Routine Load, you can increase FE configs routine_load_task_consume_second and max_routine_load_batch_size,be:backend-1'

展开
收起
提个问题! 2024-09-28 11:28:34 7 0
1 条回答
写回答
取消 提交回答
  • 开发者社区问答官方账号
    官方回答
    采纳回答

    问题原因是StarRocks内部对于每个表的版本数量存在1000的限制,且建议通过调整相关参数(如增大加载数据批大小)来解决该问题。此外,针对当前运行缓慢的情况,还提示客户观察Hive同步时的负载状况,并考虑适当加大参数配置。

    2024-09-28 11:28:35
    赞同 1 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
多IO线程优化版 立即下载
《DataWorks 数据集成实时同步》 立即下载