spark的spark-sql及Thrifserver的区别-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

spark的spark-sql及Thrifserver的区别

2018-11-21 15:52:19 1467 1

1、beelin通过jdbc去连接 远程的sql服务Thriftserver,不依赖spark以及hadoop的con,且不占用客户端资源
2、spark-sql的话,spark的driver要占用客户端机器的资源,依赖spark及hadoop的conf。
3、生产环境
如要用有作业调度:把sql包装在pyspark或者jar包中通过yarn-cluster模式提交最稳定靠谱;
交互式查询返回结果到客户端使用Thrifserver靠谱些

取消 提交回答
全部回答(1)
  • 巴客
    2019-07-17 23:15:42
    已采纳

    1、beelin通过jdbc去连接 远程的sql服务Thriftserver,不依赖spark以及hadoop的con,且不占用客户端资源
    2、spark-sql的话,spark的driver要占用客户端机器的资源,依赖spark及hadoop的conf。
    3、生产环境
    如要用有作业调度:把sql包装在pyspark或者jar包中通过yarn-cluster模式提交最稳定靠谱;
    交互式查询返回结果到客户端使用Thrifserver靠谱些

    0 0
相关问答

40

回答

[@徐雷frank][¥20]什么是JAVA的平台无关性

大河人家 2018-10-29 23:55:20 144699浏览量 回答数 40

162

回答

惊喜翻倍:免费ECS+免费环境配置~!(ECS免费体验6个月活动3月31日结束)

豆妹 2014-10-29 17:52:21 226093浏览量 回答数 162

8

回答

OceanBase 使用动画(持续更新)

mq4096 2019-02-20 17:16:36 336976浏览量 回答数 8

13

回答

[@饭娱咖啡][¥20]我想知道 Java 关于引用那一块的知识

心意乱 2018-10-31 18:44:12 142448浏览量 回答数 13

38

回答

[@饭娱咖啡][¥20]对于慢sql有没有什么比较实用的诊断和处理方法?

江小白太白 2018-10-30 18:47:38 142046浏览量 回答数 38

110

回答

OSS存储服务-客户端工具

newegg11 2012-05-17 15:37:18 295479浏览量 回答数 110

22

回答

爬虫数据管理【问答合集】

我是管理员 2018-08-10 16:37:41 147215浏览量 回答数 22

18

回答

阿里云开放端口权限

xcxx 2016-07-20 15:03:33 646735浏览量 回答数 18

31

回答

[@倚贤][¥20]刚学完html/css/js的新手学习servlet、jsp需要注意哪些问题?

弗洛伊德6 2018-10-27 21:52:43 146028浏览量 回答数 31

42

回答

【精品问答集锦】Python热门问题

小六码奴 2019-05-30 15:27:34 136899浏览量 回答数 42
36
文章
58
问答
问答排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载