客户在使用DataX工具连接StarRocks数据库的过程中遇到了IO异常,具体表现为'Failed to load data into tablet 5502080, because of too many versions, current/limit: 1001/1000. You can reduce the loading job concurrency, or increase loading data batch size. If you are loading data with Routine Load, you can increase FE configs routine_load_task_consume_second and max_routine_load_batch_size,be:backend-1'
问题原因是StarRocks内部对于每个表的版本数量存在1000的限制,且建议通过调整相关参数(如增大加载数据批大小)来解决该问题。此外,针对当前运行缓慢的情况,还提示客户观察Hive同步时的负载状况,并考虑适当加大参数配置。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。