HiveOnSpark 报错：java.lang.IllegalStateException(Connection to remote Spark driver was lost)‘ Last kno

@[toc]

完整报错

出现原因

刚刚搭建完 Hive On Spark，测试时出现该错误。

查看完整日志发现错误：

解决方法

在 Spark 中找不到 hive-exec-3.1.3.jar 包，因为该包属于 Hive，所以需要从 Hive 中拷贝一份到 Spark 中。

cp $HIVE_HOME/lib/hive-exec-3.1.3.jar $SPARK_HOME/jars/

        

          
        
        
        

          

          AI 代码解读
        
      
      

这里拷贝完成了还不行，因为我们在部署 Hive On Spark 时，通常会上传一份 Spark 的 jars目录到 HDFS 上，故该包同样需要上传。

hdfs dfs -put $HIVE_HOME/lib/hive-exec-3.1.3.jar /spark-jars/

        

          
        
        
        

          

          AI 代码解读
        
      
      

我在 HDFS 上存储 Spark jars 目录的路径是 /spark-jars/，请注意将其修改成你自己的。

修改完成后，重启 Hive 元数据服务，再次测试，问题解决。