ClkLog基于ClickHouse 的百万日活实测报告

背景介绍

自 ClkLog 上线以来，我们不断吸纳用户需求，提升产品的支持能力。今年下半年，我们遇到了日活跃用户数达到百万级别的客户。为了给 ClkLog 用户提供可靠的技术建议和解决方案，同时也为了节省成本，在Clickhouse官方支持下，我们在阿里云上对 ClickHouse 社区版、企业版进行了详细测试和成本分析。

本次测试主要目的是评估 ClkLog 在不同日活跃用户量级（一万、十万、百万）下，使用阿里云 ClickHouse 作为埋点系统数据库的各项处理能力，特别是针对百万级日活跃用户的性能表现。

大家可以根据本次测试的结果，结合自己应用的实际日活跃用户数量、成本预算和性能要求等条件，选择合适的服务器硬件配置和部署策略。

测试内容
ClkLog用户行为分析系统主要使用了23个统计脚本对原始采集数据进行多维计算，以此获得各维度上的统计报表，所以本次测试是测试日活（1万/10万/100万）的日志数据存储、数据库表存储的容量、统计数据更新时间延迟(依次计算23个统计脚本的总耗时) 和前端接口的性能。

测试方法
硬件以4Core CPU、8G内存为起点，日活以1万起点，分别测试1万/10万/100万，在阿里云服务器上对ClkLog日活数据的Clickhouse社区自建版和Clickhouse企业版在单机和集群模式下进行螺旋上升式测试。

数据准备
本次测试按照每人每天100条日志来估算日志量，并以1天的日志模板复制出1月、1年的数据。

我们准备各种日活情况下1天的日志数据据，导入clickhouse中log_analysis（原始日志表），log_event(事件表)，log_user（用户表）。其中原始日志包含100个不同页面，1000个不同设备型号。

测试场景
在各种日活情况下，测试以下内容：
- 日志文件容量、数据库表容量。
- 后端统计数据更新时间延迟，涉及浏览量、访客、设备、页面、地域、用户画像等中间统计结果的23个统计脚本的执行总耗时。

• 前端接口在一天、一周、一个月、一年等时间跨度的耗时。

测试结果
1）Clickhouse社区版单机

2）Clickhouse社区版集群（2个节点）

3）Clickhouse企业版集群(2个节点), 100万日活(人均100条日志)

汇总分析
1）1万/10万/100万日活数据，按每日人均100条日志采集，采集日志文件在1天、1个月、1年下的占用的空间存储总量如下图所示：

2）1万/10万/100万日活数据，按每日人均100条采集日志日库，数据库文件在1天、1个月、1年下的相关表的记录总数核各个表的占用的空间总量如下图所示：

3）23个统计脚本总耗时（单位：毫秒）

*说明：我们只在ClickHouse企业版集群下做了100万日活的测试。

4）集群版统计脚本总耗时对比

测试结论
根据上述测试结果可得出以下结论：
1.Clickhouse社区版，相同服务器配置，2个节点集群模式比单机模式下，统计脚本总耗时减少80%以上。

2.Clickhouse企业版集群在最低可选配置4核16GB无弹性扩容的2个节点上，100万的测试结果已近似社区版2节点每节点16核32GB内存的结果。

3.Clickhouse企业版集群单节点起步4核可弹升至8核的2个节点上，100万的测试结果对比社区版2节点每节点16核32GB内存，效率可提升30%。

4.企业版集群测试，随着最大可弹升CCU配置的提升，查询效率可继续提升。

5.成本测算：本次测试Clickhouse社区版使用ecs.u1-c1m2.4xlarge机型，存储选择ESSD 20GB PL0，双节点加存储（3T）包月成本为：1348 2（计算） +1588（存储） = 4280元。而企业版选择8-16CCU，预付资源包成本为：16184.60.7+31024*0.12=2400 元，轻松节省40%+成本！

（*说明：184.6为企业本每CCU预付单价每月，实际CPU使用在min（8）和max（16）之间波动，0.7为一般客户弹性系数；0.12为对象存储企业版每GB预付单价每月）

希望本次测试结果能为有需要的伙伴们提供有价值的信息。如果您有任何关于性能或功能方面的问题，欢迎随时联系我们。