Hive之count(distinct xxx)优化写法

先看一道某互联网公司的面试题：

题目描述

计算每个省份的买家数的sq代码如下:

select
    province 
    ,count(distinct buyer_id)
from orders
where dt = '20211012'
group by province

假设 orders表很大，每天有5千万订单，这个代码会有哪些问题，应该如何处理或者改写代码？

解答：这种写法逻辑上没问题，而它的底层引擎是mapreduce，是分布式计算的，但是在实际业务中如果数据量过大，相同重复的key过多的情况，所以自然会出现数据倾斜这种分布式计算的典型问题，这可能会导致某一个reduce处理的时间过长，如果换成这样的写法：

select
    count(distinct buyer_id)
from orders
where dt = '20211012'

那么只有1个reduce，那么处理的时间会更长。

Distinct的执行原理是：将需要去重的字段以及group by 字段联合作为 key 将数据分发到 Reduce 端。

解决方案：所以对于这种去重统计，如果在数据量够大，我会采用count加group by去进行统计：

select 
    province
    ,count(1)
from 
(
    select
        province 
        ,buyer_id
    from orders
    where dt = '20211012'
    group by province,buyer_id
)
group by province

先对数据进行去重减少数据量，再做count聚合，这一定程度上减少了数据量，从而减少了数据倾斜的可能性。

总结：在数据量很大的情况下，使用count+group by替换count(distinct)能使作业执行效率和速度得到很大的提升，一般来说数据量越大提升效果越明显。