阿里云E-MapReduce用自己搭建的DS，调用hive执行sql时，报这个错，是什么原因呢？

根据您提供的问题描述，阿里云E-MapReduce在使用自建DS（Data Service）调用Hive执行SQL时出现以下错误：

HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

而通过终端执行相同的命令时没有问题。这种现象通常与Hive Metastore的配置或环境差异有关。以下是可能的原因及解决方案：

1. Hive Metastore服务连接问题

该错误表明Hive无法正确实例化SessionHiveMetaStoreClient，通常是由于Metastore服务连接失败导致的。

可能原因：

• 自建DS与Hive Metastore服务之间的网络连接存在问题。
• DS中未正确配置Hive Metastore的地址或端口。

解决方案：

1. 检查DS中是否正确配置了Hive Metastore的连接信息：

   • 确认hive-site.xml文件中的hive.metastore.uris参数是否指向正确的Metastore服务地址。
   • 示例配置：

     <property>
     <name>hive.metastore.uris</name>
     <value>thrift://<metastore-host>:9083</value>
     </property>
     

   • 如果使用的是高可用（HA）模式，请确保配置了所有Metastore节点的地址。

2. 验证DS与Metastore服务之间的网络连通性：

   • 使用telnet或nc命令测试DS是否能够访问Metastore服务的端口（默认为9083）。
   • 示例命令：

     telnet <metastore-host> 9083
     

3. 如果Metastore服务启用了Kerberos认证，请确保DS中正确配置了Kerberos相关参数，并且已获取有效的票据。

2. Hive配置文件不一致

通过终端执行命令时，可能加载了不同的Hive配置文件，导致行为不一致。

可能原因：

• DS和终端使用的hive-site.xml文件不同。
• DS中缺少某些必要的Hive配置项。

解决方案：

1. 确保DS和终端使用相同的hive-site.xml文件。

   • 将终端环境中生效的hive-site.xml文件复制到DS的配置目录中。
   • 示例路径：

     /etc/hive/conf/hive-site.xml
     

2. 检查DS中是否遗漏了关键配置项，例如：

   • hive.metastore.uris
   • hive.metastore.sasl.enabled
   • hive.security.authorization.enabled

3. 如果使用了EMR集群的Hive服务，请确保DS中加载了EMR提供的默认配置文件。

3. 用户权限问题

DS可能以不同的用户身份运行，导致权限不足，无法访问Hive Metastore。

可能原因：

• DS运行的用户未被授权访问Hive Metastore。
• Hive Metastore的日志中可能存在权限相关的错误信息。

解决方案：

1. 检查DS运行的用户是否具有访问Hive Metastore的权限。

   • 如果启用了Kerberos认证，请确保该用户已正确配置Kerberos主体和密钥。
   • 如果使用了Ranger等权限管理工具，请检查该用户的权限配置。

2. 查看Hive Metastore的日志文件，定位具体的权限错误信息。

   • 日志路径通常为：

     /var/log/hive/metastore/
     

4. 类路径冲突或依赖缺失

DS运行环境中可能存在类路径冲突或缺少必要的依赖库。

可能原因：

• DS的类路径中存在与Hive版本不兼容的JAR包。
• 缺少Hive Metastore客户端所需的依赖库。

解决方案：

1. 检查DS的类路径配置，确保加载了正确的Hive依赖库。

   • 示例命令：

     echo $CLASSPATH
     

2. 如果使用Maven构建DS项目，请确保pom.xml中包含正确的Hive依赖版本。

   • 示例依赖：

     <dependency>
     <groupId>org.apache.hive</groupId>
     <artifactId>hive-jdbc</artifactId>
     <version>3.1.2</version>
     </dependency>
     

3. 如果问题仍然存在，可以尝试清理并重新加载DS的运行环境。

5. 其他可能原因

如果上述方法均未解决问题，可以进一步排查以下内容： - 日志分析：查看DS和Hive Metastore的日志文件，定位具体的错误信息。 - 环境变量：确保DS运行环境中设置了正确的Hadoop和Hive环境变量，例如HADOOP_HOME和HIVE_HOME。 - 版本兼容性：确认DS、Hive和Hadoop的版本是否兼容。

总结

根据知识库资料，该问题通常由Hive Metastore连接配置错误、权限问题或环境差异引起。建议按照以下步骤逐一排查： 1. 检查Hive Metastore的连接配置。 2. 确保DS和终端使用相同的Hive配置文件。 3. 验证DS运行用户的权限。 4. 排查类路径冲突或依赖缺失问题。

如果问题仍未解决，请提供更详细的日志信息以便进一步分析。您可以复制页面截图提供更多信息，我可以进一步帮您分析问题原因。