带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(9) https://developer.aliyun.com/article/1247140?groupCode=taobaotech
优化总结
通过CREATE TABLE或者ALTER TABLE语句，指定一个或者多个Cluster列，通过哈希方法，把数据存储分散到若干个桶里面，类似于这样：
CREATE TABLE T (C1 string, C2 string, C3 int) CLUSTERED BY (C3) SORTED by (C3) INTO 1024 BUCKETS;
这样做有几个好处：
对于C3列的等值条件查询，可以利用Hash算法，直接定位到对应的哈希桶，如果桶内数据排序存储，还可以进一步利用索引定位，从而大大减少数据扫描量，提高查询效率。
如果有表T2希望和T1在C3上做Join，那么对于T1表因为C3已经Hash分布，可以省掉Shuffle的步骤，进而大大节省计算资源。
Hash Clustering也有一些局限性：
1.使用Hash算法分桶，有可能产生Data Skew的问题。和Join Skew一样，这是Hash算法本身固有的局限性，输入数据存在某些特定的数据分布时，可能造成倾斜，进而导致各个哈希桶之间数据量差异较大。因为Hash Clustering之后，我们的并发处理单位往往是一个桶，如果哈希桶数据量不一致，在线上往往容易造成长尾现象。
2.Bucket Pruning只支持等值查询。因为使用哈希分桶方法，对于区间查询，比如上例中使用C3 > 0这样的条件，我们无法在哈希桶级别定位，只能把查询下发到所有桶内进行。
3.对于多个CLUSTER KEY的组合查询，只有所有CLUSTER KEY都出现并且都为等值条件，才能达到优化效果
带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(11) https://developer.aliyun.com/article/1247138?groupCode=taobaotech
