最近在做的项目,跑ODS有几个大表,因为更新标示的问题,需要每周不得不做一个全量更新,这样,每次在做全量更新的时候,后续的DW层的JOB就会卡死一个(某几个中的一个随机卡死),这时候KETTLE自身的日志没什么特别的,检查MYSQL该条SQL在长期卡SENDING DATA状态,除非手动KILL,否则不会自动断开。请教大家有没有遇到类似的情况.
-----------------
现在完全没有头绪,KETTLE的报错只是KILL掉进程后抱的错误,已经将.SH内存调整为4096M,依然无法解决,报错信息没有内存不足的信息
全量更新时间长,表锁死了吧回复<aclass="referer"target="_blank">@ICEPIG:考虑可能是sql语句的问题,是否索引使用不当,导致全表扫描。百度一下mysql索引无效sendingdata问题是ODS层跑增量的话一点问题都么有啊,DW层调用的表数据理论上不会有太大出入
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。