在使用hive -f 运行sql文件时mapruduce一直不动，yarn日志里报链接错误

1. 问题描述： 您遇到了org.apache.hadoop.hbase.exceptions.ConnectionClosedException: Connection closed错误，该错误表明与HBase的连接在执行操作时被关闭。尽管您已经考虑了数据倾斜的可能性，并且相同的SQL语句在Hue上可以成功执行，但在Hive Shell中却执行失败。

2. 可能原因：

   • 版本或配置不兼容：Hive和HBase之间的交互可能存在配置不匹配或版本兼容性问题。
   • 网络或服务端问题：可能是Hive服务端或HBase服务不稳定，导致连接中断。
   • 客户端设置差异：Hue与Hive Shell的客户端配置（如超时时间、压缩编解码器等）可能不同，导致行为差异。

3. 解决步骤：

   • 检查Hive与HBase版本兼容性：确保您的Hive和HBase版本相互兼容，参考官方文档或社区讨论以确认这一点。

   • 调整Hive配置：按照之前提到的关于Snappy压缩库的配置，检查并更新您的hive-site.xml，确保输出和中间数据压缩设置正确，然后重启Hive服务。

   • 检查网络与服务状态：验证Hive Server、HBase服务以及它们之间的网络连接是否稳定。使用网络监控工具检查是否有丢包或延迟高的情况。

   • 对比客户端配置：详细比对Hue中的Hive配置与Hive Shell使用的配置，特别是超时设置、连接池参数及网络相关配置，确保两者一致或适配Hive Shell环境。

   • 日志分析：查看Hive和HBase的服务日志，通常位于各自服务的logs目录下，寻找有关连接关闭的具体原因和上下文信息。

   • 测试直接连接：尝试通过其他方式（如Beeline或直接使用Spark SQL客户端）连接Hive，看是否能复现问题，这有助于定位是Hive Shell特有的问题还是更广泛的问题。

4. 注意事项：

   • 在进行任何配置更改之前，请做好相应服务的备份和快照，以防配置调整导致服务不可用。
   • 确保在非高峰时段进行测试和配置修改，减少对生产环境的影响。

如果以上步骤不能解决问题，建议进一步收集详细的错误日志，并联系技术支持或社区论坛寻求帮助，提供完整的错误信息和已尝试的解决措施，以便获得更专业的指导。