通过spark-thriftserver读取hive表执行sql时，tasks 数量怎么设置-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

通过spark-thriftserver读取hive表执行sql时，tasks 数量怎么设置

2019-07-05 15:30:22 115450 1

用户昵称

+关注

我在使用spark-thriftserver的方式，通过beeline执行sql的时候，thriftserver会扫描所查询hive表的所有分区（hdfs上面的路径）然后有多少个路径，就会自动生成多少个task，这个task的数量可以调整吗？或者这个流程怎么优化？

SQL HIVE

SQL Server范围 SQL Server批量导入 SQL Server bak文件操作 sqlserver范围 SQL Server系统表

开发者社区 > 数据库 > 问答

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

取消提交回答

全部回答(1)

明朔
2020-03-20 09:24:17

可以添加inputformat相关的配置，比如spark.hadoop.mapreduce.input.fileinputformat.split.minsize 不过需要重启下thrift server

0 0

相关问答

1

回答

Spark中RDD（Resilient Distributed Datasets）是什么？

2021-12-05 20:05:17 88浏览量回答数 1

1

回答

Spark中RDD的属性是什么？

2021-12-05 20:06:54 83浏览量回答数 1

1

回答

Spark中RDD的特点是什么？

2021-12-05 20:07:38 90浏览量回答数 1

1

回答

Spark中RDD持久化是什么？

2021-12-05 20:08:32 96浏览量回答数 1

1

回答

Spark中RDD依赖关系是什么？

2021-12-05 20:09:23 99浏览量回答数 1

0

回答

请教各位大神，我想要在如下数据结构的spark rdd中提取出内嵌的字典

2019-09-26 17:37:39 507浏览量回答数 0

2

回答

spark的RDD内容直接用saveAsTextFile保存到hdfs时会出现中文乱码现象，但在控制台用foreach打印该RDD数据显示是正常的，该怎么解决呢？

2019-01-30 15:01:08 5444浏览量回答数 2

1

回答

在Spark Streaming Python中将RDD转换为Dataframe

2018-12-21 13:36:36 2159浏览量回答数 1

1

回答

在一个文件中对spark RDD进行排序和排名

2018-12-12 11:27:36 2976浏览量回答数 1

1

回答

在spark rdd级别中使用groupby的条件运算符 - scala

2018-12-06 15:33:05 4397浏览量回答数 1

+关注

游客iwhrjhvjoyqts

0

文章

1

问答

问答排行榜

最热

最新

1 通过阿里云代备案系统进行个人快速备案 2667023

2 【大咖问答】对话PostgreSQL 中国社区发起人之一，阿里云数据库高级专家德哥 1338148

3 据说在家办公的程序员是这样写代码的？ 1305513

4 《阿里云服务器从入门到精通》—论坛精华帖汇总 1054971

5 阿里云开放端口权限 667962

6 《阿里云服务器从入门到精通》—论坛精华帖汇总（2013.8.21更新） 590218

7 如何升级配置 527534

8 【精品问答】python技术1000问(1) 493577

9 Flink Forward Asia 2021 有奖问答 485848

10 Linux Bash严重漏洞修复紧急通知（已全部给出最终修复方案） 443818

11 OceanBase 使用动画（持续更新） 346752

12 阿里云LNAMP(Linux + Nginx + Apache + MySQL + PHP)环境一键安装脚本 314214

13 OSS存储服务-客户端工具 308672

14 企业邮箱发送邮件时，若出现投递失败产生退信，内容提示包含如下： the mta server of * reply:550 failed to meet SPF requirements 或者 the mta server of 163.com — 163mx01.mxmail.netease.com(220.181.14.141) reply:550 MI:SPF mx14,QMCowECpA0qTiftVaeB3Cg—.872S2 1442548128 http://mail.163.com/help 286993

15 Win Server 2003-2016 加密勒索事件必打补丁合集 286186

16 FLASH播放器，在IE浏览器下显示请确定您的域名已完成备案和CNAME绑定 269281

17 安全组详解，新手必看教程 267221

18 【史上最详细】阿里云ECS安装wordpress教程 261810

19 惊喜翻倍：免费ECS+免费环境配置~！(ECS免费体验6个月活动3月31日结束) 239981

20 阿里云手机和阿云浏览器连接问题专帖 231028

1 我想访问域名 aaa.booka.com 时候跳转到 aaa.pullb.cn/apidoc/s 219

2 相对于函数计算，sae的优点是啥啊？ 234

3 我想问一下，flink有到固定时间间隔，或者到固定的数量都会推动窗口前进的函数吗？还是说说一定要去写 226

4 请问一下各位大佬。select relnamespace::regnamespace,relown 222

5 请问./blade c cri是下发什么故障呢？ 237

6 MSE 网关升级是对流量来说是没有损失的吧？ 228

7 MSE是否支持自研的注册中心到 Nacos上迁移？ 231

8 如果我压测的服务在百度云服务器部署的，会不会有限制什么的呢？ 234

9 这个录制的登陆场景需要添加用户账号密码列表吗 228

10 在做图片上传的压测，这里不录制不了图片上传吗？ 236

11 我想咨询下做图片上传的压测的话需要怎么操作呢？ 234

12 我现在的一个http 服务启动不起来，控制台说。请问为什么？yaml启动是这样的 234

13 我在flask custom-container 里面没有发现这个bootstrp 请问这是哪里来的 235

14 断点调试出现这个问题。。。如图，怎么回事？ 226

15 s deploy 出现这个错误是啥子情况？ 227

16 那么弹性实例和预留实例差出来的冷启动体现在哪里 222

17 请问这样子创建的“使用自定义运行时平滑迁移 Web Server”，弹性实例，按量计费，是每次请求都 227

18 我导出一个 pandas 的包，就出问题，不导入就没问题，这个是内存不够了吗？ 236

19 如何解决发布时，无法自动创建触发器？ 221

20 在同一个云函数的实例内存在多个请求如果一个请求耗时长是不是会影响这个实例内的其他请求时长？ 228

推荐问答

读《低代码开发师（初级）实战教程》，赢小米鼠标Lite

相关电子书

更多

低代码开发师（初级）实战教程

立即下载

阿里巴巴DevOps 最佳实践手册

立即下载

冬季实战营第三期：MySQL数据库进阶实战

立即下载