spark的spark-sql及Thrifserver的区别-问答-阿里云开发者社区-阿里云

开发者社区> 云hbase+spark> 正文

spark的spark-sql及Thrifserver的区别

2018-11-21 15:52:19 1430 1

1、beelin通过jdbc去连接 远程的sql服务Thriftserver,不依赖spark以及hadoop的con,且不占用客户端资源
2、spark-sql的话,spark的driver要占用客户端机器的资源,依赖spark及hadoop的conf。
3、生产环境
如要用有作业调度:把sql包装在pyspark或者jar包中通过yarn-cluster模式提交最稳定靠谱;
交互式查询返回结果到客户端使用Thrifserver靠谱些

取消 提交回答
全部回答(1)
  • 巴客
    2019-07-17 23:15:42
    已采纳

    1、beelin通过jdbc去连接 远程的sql服务Thriftserver,不依赖spark以及hadoop的con,且不占用客户端资源
    2、spark-sql的话,spark的driver要占用客户端机器的资源,依赖spark及hadoop的conf。
    3、生产环境
    如要用有作业调度:把sql包装在pyspark或者jar包中通过yarn-cluster模式提交最稳定靠谱;
    交互式查询返回结果到客户端使用Thrifserver靠谱些

    0 0
相关问答

40

回答

[@徐雷frank][¥20]什么是JAVA的平台无关性

大河人家 2018-10-29 23:55:20 144293浏览量 回答数 40

162

回答

惊喜翻倍:免费ECS+免费环境配置~!(ECS免费体验6个月活动3月31日结束)

豆妹 2014-10-29 17:52:21 223034浏览量 回答数 162

8

回答

OceanBase 使用动画(持续更新)

mq4096 2019-02-20 17:16:36 333899浏览量 回答数 8

13

回答

[@饭娱咖啡][¥20]我想知道 Java 关于引用那一块的知识

心意乱 2018-10-31 18:44:12 142145浏览量 回答数 13

38

回答

[@饭娱咖啡][¥20]对于慢sql有没有什么比较实用的诊断和处理方法?

江小白太白 2018-10-30 18:47:38 141684浏览量 回答数 38

110

回答

OSS存储服务-客户端工具

newegg11 2012-05-17 15:37:18 292317浏览量 回答数 110

22

回答

爬虫数据管理【问答合集】

我是管理员 2018-08-10 16:37:41 146805浏览量 回答数 22

18

回答

阿里云开放端口权限

xcxx 2016-07-20 15:03:33 643195浏览量 回答数 18

31

回答

[@倚贤][¥20]刚学完html/css/js的新手学习servlet、jsp需要注意哪些问题?

弗洛伊德6 2018-10-27 21:52:43 145641浏览量 回答数 31

10

回答

[@墨玖tao][¥20]为什么流式处理框架都是 java 写成的,JVM 是不是在流和批存在着特殊优势。还有分布式资源调度,感觉Mesos 的成长速度跟不上 Yarn。这是为什么?

管理贝贝 2018-10-23 13:18:03 136137浏览量 回答数 10
36
文章
58
问答
推荐问答
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载