spark的spark-sql及Thrifserver的区别-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

spark的spark-sql及Thrifserver的区别

云hbase+spark 2018-11-21 15:52:19 810

1、beelin通过jdbc去连接 远程的sql服务Thriftserver,不依赖spark以及hadoop的con,且不占用客户端资源
2、spark-sql的话,spark的driver要占用客户端机器的资源,依赖spark及hadoop的conf。
3、生产环境
如要用有作业调度:把sql包装在pyspark或者jar包中通过yarn-cluster模式提交最稳定靠谱;
交互式查询返回结果到客户端使用Thrifserver靠谱些

SQL 分布式计算 Hadoop Java 数据库连接 调度 Spark
分享到
取消 提交回答
全部回答(1)
  • 巴客
    2019-07-17 23:15:42
    已采纳

    1、beelin通过jdbc去连接 远程的sql服务Thriftserver,不依赖spark以及hadoop的con,且不占用客户端资源
    2、spark-sql的话,spark的driver要占用客户端机器的资源,依赖spark及hadoop的conf。
    3、生产环境
    如要用有作业调度:把sql包装在pyspark或者jar包中通过yarn-cluster模式提交最稳定靠谱;
    交互式查询返回结果到客户端使用Thrifserver靠谱些

    0 0
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题