通过spark-thriftserver读取hive表执行sql时，tasks 数量怎么设置-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

通过spark-thriftserver读取hive表执行sql时，tasks 数量怎么设置

游客iwhrjhvjoyqts 2019-07-05 15:30:22 111859

我在使用spark-thriftserver的方式，通过beeline执行sql的时候，thriftserver会扫描所查询hive表的所有分区（hdfs上面的路径）然后有多少个路径，就会自动生成多少个task，这个task的数量可以调整吗？或者这个流程怎么优化？

SQL HIVE
分享到
取消 提交回答
全部回答(1)
  • 明朔
    2020-03-20 09:24:17

    可以添加inputformat相关的配置，比如spark.hadoop.mapreduce.input.fileinputformat.split.minsize 不过需要重启下thrift server

    0 0
数据库
使用钉钉扫一扫加入圈子
+ 订阅

分享数据库前沿，解构实战干货，推动数据库技术变革

推荐文章
展开
相似问题
展开
推荐课程