Hive hang without response-阿里云开发者社区

开发者社区> 数据库> 正文

Hive hang without response

简介:

前些天Hive查询的接口一直超时报警,登录上去查看发现这个超时报警的曲线很有规律,每个小时开始就出现,过了大约3分钟左右就好了.在这个期间里,也发现hive根本就执行不了,完全hang住了,机器负载,HDFS,Jobtracker的负载响应都完全正常!

立刻查看下日志发现几点:

1.对比其他时间的同一个job发现两个时间点的上传job文件到hdfs以及mapreduce的执行时间完全一致,也就是说排除了hdfs,jobtracker的问题

2.出问题时,hive的执行基本阻塞在Initialized ObjectStore部分

那么基本猜想就是MySQL出问题了,查看MySQL的监控日志发现果然每到这个时间点都会出现highsession,找到一个时间点用percona的工具分析了一下slow log发现了最终的元凶:

   原来是每个整点都会执行一次backup,但是在backup之前会有一个分析的query也在跑(cron)mysqldumpbackup之前会先进行flush table,但是由于那个long running query在导致flush table一直在等待,从而导致后来的所有操作都在waitingfor flushing table.

找到原因就好办了,把备份迁移到从库,另外优化那个long running query,解决.



本文转自MIKE老毕 51CTO博客,原文链接:http://blog.51cto.com/boylook/1367256,如需转载请自行联系原作者



版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
数据库
使用钉钉扫一扫加入圈子
+ 订阅

分享数据库前沿,解构实战干货,推动数据库技术变革

其他文章