开发者社区> 问答> 正文

kettle调用SQL在MYSQL上执行会长期卡SENDING DATA?报错

最近在做的项目,跑ODS有几个大表,因为更新标示的问题,需要每周不得不做一个全量更新,这样,每次在做全量更新的时候,后续的DW层的JOB就会卡死一个(某几个中的一个随机卡死),这时候KETTLE自身的日志没什么特别的,检查MYSQL该条SQL在长期卡SENDING DATA状态,除非手动KILL,否则不会自动断开。请教大家有没有遇到类似的情况.

-----------------

现在完全没有头绪,KETTLE的报错只是KILL掉进程后抱的错误,已经将.SH内存调整为4096M,依然无法解决,报错信息没有内存不足的信息

展开
收起
爱吃鱼的程序员 2020-06-08 20:31:32 831 0
1 条回答
写回答
取消 提交回答
  • https://developer.aliyun.com/profile/5yerqm5bn5yqg?spm=a2c6h.12873639.0.0.6eae304abcjaIB

    全量更新时间长,表锁死了吧回复<aclass="referer"target="_blank">@ICEPIG:考虑可能是sql语句的问题,是否索引使用不当,导致全表扫描。百度一下mysql索引无效sendingdata问题是ODS层跑增量的话一点问题都么有啊,DW层调用的表数据理论上不会有太大出入

    2020-06-08 20:31:50
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
SQL Server在电子商务中的应用与实践 立即下载
GeoMesa on Spark SQL 立即下载
原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili 立即下载

相关镜像