通过spark-thriftserver读取hive表执行sql时,tasks 数量怎么设置-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

通过spark-thriftserver读取hive表执行sql时,tasks 数量怎么设置

游客iwhrjhvjoyqts 2019-07-05 15:30:22 111052

我在使用spark-thriftserver的方式,通过beeline执行sql的时候,thriftserver会扫描所查询hive表的所有分区(hdfs上面的路径)然后有多少个路径,就会自动生成多少个task,这个task的数量可以调整吗?或者这个流程怎么优化?

SQL HIVE
分享到
取消 提交回答
全部回答(1)
  • 明朔
    2020-03-20 09:24:17

    可以添加inputformat相关的配置,比如spark.hadoop.mapreduce.input.fileinputformat.split.minsize 不过需要重启下thrift server

    0 0
数据库
使用钉钉扫一扫加入圈子
+ 订阅

分享数据库前沿,解构实战干货,推动数据库技术变革

推荐文章
相似问题