通过spark-thriftserver读取hive表执行sql时,tasks 数量怎么设置-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

通过spark-thriftserver读取hive表执行sql时,tasks 数量怎么设置

2019-07-05 15:30:22 115450 1

我在使用spark-thriftserver的方式,通过beeline执行sql的时候,thriftserver会扫描所查询hive表的所有分区(hdfs上面的路径)然后有多少个路径,就会自动生成多少个task,这个task的数量可以调整吗?或者这个流程怎么优化?

取消 提交回答
全部回答(1)
  • 明朔
    2020-03-20 09:24:17

    可以添加inputformat相关的配置,比如spark.hadoop.mapreduce.input.fileinputformat.split.minsize 不过需要重启下thrift server

    0 0
相关问答

1

回答

Spark中RDD(Resilient Distributed Datasets)是什么?

2021-12-05 20:05:17 88浏览量 回答数 1

1

回答

Spark中RDD的属性是什么?

2021-12-05 20:06:54 83浏览量 回答数 1

1

回答

Spark中RDD的特点是什么?

2021-12-05 20:07:38 90浏览量 回答数 1

1

回答

Spark中RDD持久化是什么?

2021-12-05 20:08:32 96浏览量 回答数 1

1

回答

Spark中RDD依赖关系是什么?

2021-12-05 20:09:23 99浏览量 回答数 1

0

回答

请教各位大神,我想要在如下数据结构的spark rdd中提取出内嵌的字典

2019-09-26 17:37:39 507浏览量 回答数 0

2

回答

spark的RDD内容直接用saveAsTextFile保存到hdfs时会出现中文乱码现象,但在控制台用foreach打印该RDD数据显示是正常的,该怎么解决呢?

2019-01-30 15:01:08 5444浏览量 回答数 2

1

回答

在Spark Streaming Python中将RDD转换为Dataframe

2018-12-21 13:36:36 2159浏览量 回答数 1

1

回答

在一个文件中对spark RDD进行排序和排名

2018-12-12 11:27:36 2976浏览量 回答数 1

1

回答

在spark rdd级别中使用groupby的条件运算符 - scala

2018-12-06 15:33:05 4397浏览量 回答数 1
0
文章
1
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载