SparkSQL读写HiveOnHBase表

1、spark把数据写入到hbase需要用到：PairRddFunctions的saveAsHadoopDataset方法，这里用到了 implicit conversion，需要我们引入
import org.apache.spark.SparkContext._
2、spark写入hbase，实质是借用了org.apache.hadoop.hbase.mapreduce.TableInputFormat这个对象，用其内部的recorderWriter将数据写入hbase
同时，也借用了hadoop的JobConf，配置和写MR的配置方式一样
3、请看下面代码,这里使用sparksql从hive里面读出数据，经过处理，写入到hbase

SparkSQL本身是支持StorageHandler，需要提供相关jar包。

访问HiveOnHBase需要如下jar包:
/usr/lib/hbase-current/lib/hbase-server-1.1.1.jar
/usr/lib/hbase-current/lib/hbase-common-1.1.1.jar
/usr/lib/hbase-current/lib/hbase-client-1.1.1.jar
/usr/lib/hbase-current/lib/hbase-protocol-1.1.1.jar

/usr/lib/hive-current/lib/hive-hbase-handler-2.3.3.jar

需要将上述jar包添加到spark，有两种方式：
a)通过--jars参数来添加
如：spark-sql --jars /usr/lib/hbase-current/lib/hbase-server-1.1.1.jar,/usr/lib/hbase-current/lib/hbase-common-1.1.1.jar,/usr/lib/hbase-current/lib/hbase-client-1.1.1.jar,/usr/lib/hbase-current/lib/hbase-protocol-1.1.1.jar,/usr/lib/hive-current/lib/hive-hbase-handler-2.3.3.jar

b)spark-defaults.conf里面配置
spark.executor.extraClassPath /opt/apps/extra-jars/*:/usr/lib/hbase-current/lib/hbase-server-1.1.1.jar:/usr/lib/hive-current/lib/hive-hbase-handler-2.3.3.jar:/usr/lib/hbase-current/lib/hbase-common-1.1.1.jar:/usr/lib/hbase-current/lib/hbase-client-1.1.1.jar:/usr/lib/hbase-current/lib/hbase-protocol-1.1.1.jar

spark.driver.extraClassPath /opt/apps/extra-jars/*:/usr/lib/hbase-current/lib/hbase-server-1.1.1.jar:/usr/lib/hive-current/lib/hive-hbase-handler-2.3.3.jar:/usr/lib/hbase-current/lib/hbase-common-1.1.1.jar:/usr/lib/hbase-current/lib/hbase-client-1.1.1.jar:/usr/lib/hbase-current/lib/hbase-protocol-1.1.1.jar

备注:
EMR-3.13.0以及以下版本，使用SparkSQL insert 数据到HiveOnHBase表的时候会出异常：
java.lang.ClassCastException: org.apache.hadoop.hive.hbase.HiveHBaseTableOutputFormat cannot be cast to org.apache.hadoop.hive.ql.io.HiveOutputFormat