开发者社区> 问答> 正文

spark的spark-sql及Thrifserver的区别

已解决

1、beelin通过jdbc去连接 远程的sql服务Thriftserver,不依赖spark以及hadoop的con,且不占用客户端资源
2、spark-sql的话,spark的driver要占用客户端机器的资源,依赖spark及hadoop的conf。
3、生产环境
如要用有作业调度:把sql包装在pyspark或者jar包中通过yarn-cluster模式提交最稳定靠谱;
交互式查询返回结果到客户端使用Thrifserver靠谱些

展开
收起
云hbase+spark 2018-11-21 15:52:19 2564 0
1 条回答
写回答
取消 提交回答
  • 研究spark/hive/hbase相关技术
    采纳回答

    1、beelin通过jdbc去连接 远程的sql服务Thriftserver,不依赖spark以及hadoop的con,且不占用客户端资源
    2、spark-sql的话,spark的driver要占用客户端机器的资源,依赖spark及hadoop的conf。
    3、生产环境
    如要用有作业调度:把sql包装在pyspark或者jar包中通过yarn-cluster模式提交最稳定靠谱;
    交互式查询返回结果到客户端使用Thrifserver靠谱些

    2019-07-17 23:15:42
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载