一、安装:(注意版本兼容)
hadoop2.7.2,hive1.3,spark1.6
二、相关配置:
- hive配置hive-site.xml
- 把hive-site.xml拷贝至spark的conf目录下并添加:【如果不能运行,这配置去掉重试】
<property>
<name>hive.metastore.uris</name>
<value>thrift://192.168.234.128:9083</value>
</property>
注:192.168.234.128是hive的主机
- 把hadoop目录/hadoop2.7.2/etc/hadoop/的core-site.xml与hdfs-site.xml拷贝至spark下的conf目录下(分发)
- 把hive的lib目录下的mysql-connector-java-5.1.31.jar拷贝至spark的jar目录下
三、运行:
- 在hive上执行:
nohup hive --service metastore > metastore.log 2>&1 &
hive --service hiveserver2 --hiveconf hive.server2.thrift.port=10000 &
- 在spark上执行:
/home/hadoop/apps/spark/bin/spark-sql \
--master spark://hadoop01:7077 \
--executor-memory 512m \
--total-executor-cores 2 \
--driver-class-path /home/hadoop/apps/hive/lib/mysql-connector-java-5.0.8-bin.jar
或者,建议不加参数
bin/spark-sql
四、执行sql语句:
Show databases;
Show tables;
注:此操作是直接操作hive上的表