select count(distinct *) from table;
这样写会生成一个job 只有一个reducer执行，可以改为如下：
select count(*) from (
select distinct * from table) t;
这样生成两个job，可有多个reducer执行，效率提升
本文转自 落花非有意 51CTO博客，原文链接：http://blog.51cto.com/1992zhong/1749452，如需转载请自行联系原作者
hive distict 和 count 操作reducer只有一个的问题
2017-11-15
1174
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
目录
相关文章
|
3月前
|
SQL
Java
数据库连接
|
5月前
|
SQL
Java
数据库连接
|
5月前
|
SQL
存储
分布式计算
|
5月前
|
SQL
缓存
分布式计算
|
5月前
|
SQL
HIVE
|
4月前
|
SQL
分布式计算
数据库
【大数据技术Spark】Spark SQL操作Dataframe、读写MySQL、Hive数据库实战（附源码）
【大数据技术Spark】Spark SQL操作Dataframe、读写MySQL、Hive数据库实战（附源码）
96
0
0
|
6月前
|
SQL
存储
分布式计算
|
7天前
|
SQL
数据库
HIVE
Hive【基础知识 05】常用DDL操作（数据库操作+创建表+修改表+清空删除表+其他命令）
【4月更文挑战第8天】Hive【基础知识 05】常用DDL操作（数据库操作+创建表+修改表+清空删除表+其他命令）
17
0
0
|
3月前
|
SQL
数据库
HIVE
|
5月前
|
SQL
HIVE
Perl
热门文章
最新文章
1
利用Hive与Hadoop构建大数据仓库：从零到一
2
【Hive】请说明hive中 Sort By，Order By，Cluster By，Distrbute By各代表什么意思？
3
bigdata-17-Hive部署与Hive基础
4
【Hive】Hive优化有哪些？
5
【Hive】Hive的函数：UDF、UDAF、UDTF的区别？
6
【Hive】Hive有索引吗？
7
bigdata-18-Hive数据结构与存储格式
8
【Hive】Hive的两张表关联，使用MapReduce怎么实现？
9
bigdata-21-Hive基本函数
10
【Hive】数据倾斜怎么解决？
1
【Hive】Hive的函数：UDF、UDAF、UDTF的区别？
35
2
【Hive】请说明hive中 Sort By，Order By，Cluster By，Distrbute By各代表什么意思？
40
3
【Hive】Hive的两张表关联，使用MapReduce怎么实现？
23
4
【Hive】Hive优化有哪些？
40
5
【Hive】数据倾斜怎么解决？
20
6
Hive【基础知识 05】常用DDL操作（数据库操作+创建表+修改表+清空删除表+其他命令）
17
7
【Hive】sort by 和 order by 的区别
14
8
Hive【基础知识 04】【Hive 属性配置的三种方式及配置的优先级说明】
12
9
Hive【基础知识 02-2】【Hive CLI 命令行工具使用】【详细举例-包含测试脚本文件】
15
10
【Hive】Hive有索引吗？
30