陷入死循环
一次性插入100w的数据，一个select node，一个load node。
发现select node的节点没有停止，同时日志不停地循环打印，两个日志文件row_select.log和3.log row_select.log： 下面5组相同的数据不停的取出。
Batch Id: [569] ,total : [759] , normal : [25,319] , filter :[-24,560] , Time : 2016-05-11 20:13:34:165 Start : [mysql-bin.000055:466211829:1462959916000(2016-05-11 17:45:16)] End : [mysql-bin.000055:472353902:1462959916000(2016-05-11 17:45:16)] Batch Id: [570] ,total : [761] , normal : [23,538] , filter :[-22,777] , Time : 2016-05-11 20:14:16:506 Start : [mysql-bin.000055:441613948:1462959916000(2016-05-11 17:45:16)] End : [mysql-bin.000055:447756963:1462959916000(2016-05-11 17:45:16)] Batch Id: [571] ,total : [761] , normal : [23,305] , filter :[-22,544] , Time : 2016-05-11 20:14:18:806 Start : [mysql-bin.000055:447764986:1462959916000(2016-05-11 17:45:16)] End : [mysql-bin.000055:453907662:1462959916000(2016-05-11 17:45:16)] Batch Id: [572] ,total : [760] , normal : [24,230] , filter :[-23,470] , Time : 2016-05-11 20:14:21:138 Start : [mysql-bin.000055:453915663:1462959916000(2016-05-11 17:45:16)] End : [mysql-bin.000055:460053042:1462959916000(2016-05-11 17:45:16)] Batch Id: [573] ,total : [759] , normal : [25,569] , filter :[-24,810] , Time : 2016-05-11 20:14:32:864 Start : [mysql-bin.000055:460061071:1462959916000(2016-05-11 17:45:16)] End : [mysql-bin.000055:466203680:1462959916000(2016-05-11 17:45:16)] 3.log的日志。
不停的抛出警告： 2016-05-11 20:11:15.208 [pipelineId = 3,taskName = ProcessSelect] WARN com.alibaba.otter.node.etl.select.SelectTask - rollback happend , should skip this data and get new message.
似乎陷入了死循环。
原提问者GitHub用户 chengyoucai
写回答
-
-
这种情况可能是由于数据库连接没有正确关闭导致的。建议检查代码中的数据库连接是否正确关闭，以确保数据库连接不会一直保持打开状态。
此外，你也可以尝试使用 otter 的监控工具来排查问题。otter 的监控工具可以帮助你实时监控数据同步过程中的各项指标，并提供详细的错误日志和性能数据，以帮助你快速诊断和解决问题。
另外，你还可以尝试将数据插入分批进行，以避免一次性插入过多数据导致系统崩溃。你可以将数据分成多个批次进行插入，每个批次插入一部分数据，以便更好地控制系统负载和资源消耗。
2023-06-21 17:31:20赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
