【ClickHouse 技术系列】- ClickHouse 聚合函数和聚合状态

2021-12-14 1701

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

EMR Serverless StarRocks，5000CU*H 48000GB*H

简介： 本文翻译自 Altinity 针对 ClickHouse 的系列技术文章。面向联机分析处理（OLAP）的开源分析引擎 ClickHouse，因其优良的查询性能，PB级的数据规模，简单的架构，被国内外公司广泛采用。本系列技术文章，将详细展开介绍 ClickHouse。

前言

本文翻译自 Altinity 针对 ClickHouse 的系列技术文章。面向联机分析处理（OLAP）的开源分析引擎 ClickHouse，因其优良的查询性能，PB 级的数据规模，简单的架构，被国内外公司广泛采用。

阿里云 EMR-OLAP 团队，基于开源 ClickHouse 进行了系列优化，提供了开源 OLAP 分析引擎 ClickHouse 的云上托管服务。EMR ClickHouse 完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础上优化了 ClickHouse 的读写性能，提升了 ClickHouse 与 EMR 其他组件快速集成的能力。访问 https://help.aliyun.com/document_detail/212195.html了解详情。

译者：何源（荆杭），阿里云计算平台事业部高级产品专家

ClickHouse 聚合函数和聚合状态

ClickHouse 可能有一个独特的功能——聚合状态（除了聚合函数外）。你可以参AggregatingMergeTree 和 State 组合子的文档。

简而言之，许多数据库使用概率数据结构，例如 HyperLogLog（简称 HLL）。它用于唯一/去重计算，你可以在Spark、ElasticSearch、Flink、Postgres、BigQuery 和 Redis 等服务中看到它的效果。但通常你只能在聚合函数中应用此函数一次，例如查询每月唯一用户数——得到一个数字，这样就知足了。由于 HLL 结构没有对应的内部格式，因此无法重用预聚合或部分聚合的数据。而在 ClickHouse 中，你可以这样做，因为 HLL 结构是一致的。

ClickHouse 的速度非常快，其基本思路是处理原始数据而不是预聚合数据。但是让我们做个实验。例如，我们需要为上个月的唯一用户数计算一些指标。

设想：每天预聚合，然后汇总所有结果。这就是所谓的存储空间方法——以后你可以只汇总最后 30 个测量值来计算上个月的统计数据，或者只汇总最后 7 个测量值来计算上周的统计数据。

创建我们的预聚合表：

create table events_unique (
  date Date, 
  group_id String, 
  client_id String, 
  event_type String, 
  product_id String, 
  value AggregateFunction(uniq, String)
) ENGINE = MergeTree(date, (group_id, client_id, event_type, product_id, date), 8192);

这里将我的聚合声明为 AggregateFunction(uniq, String)。我们关注的是一些独特的指标，这些指标是在 String 列上计算的（为了进一步优化，你可能应该使用 FixedString 或二进制数据）。

让我们将数据插入预聚合表：

INSERT INTO events_unique 
SELECT date, group_id, client_id, event_type, product_id, uniqState(visitor_id) AS value 
  FROM events 
 GROUP BY date, group_id, client_id, event_type, product_id;

进行冒烟测试，确认其可以正常运行：

SELECT uniqMerge(value) FROM events_unique GROUP BY product_id;

现在让我们比较原始表和预聚合表的查询性能。原始查询：

SELECT uniq(visitor_id) AS c 
  FROM events 
 WHERE client_id = ‘aaaaaaaa’ 
   AND event_type = ‘click’ 
   AND product_id = ‘product1’ 
   AND date >= ‘2017–01–20’ 
   AND date < ‘2017–02–20’;
┌──────c─┐
│ 457954 │
└────────┘
1 rows in set. Elapsed: 0.948 sec. Processed 13.22 million rows, 1.61 GB (13.93 million rows/s., 1.70 GB/s.)

预聚合表的结果：

SELECT uniqMerge(value) AS c 
  FROM events_unique 
 WHERE client_id = ‘aaaaaaaa’ 
   AND event_type = ‘click’ 
   AND product_id = ‘product1’ 
   AND date >= ‘2017–01–20’ 
   AND date < ‘2017–02–20’;
┌──────c─┐
│ 457954 │
└────────┘
1 rows in set. Elapsed: 0.050 sec. Processed 39.39 thousand rows, 8.55 MB (781.22 thousand rows/s., 169.65 MB/s.)