聊聊ClickHouse的开发、编译和测试

简介: 聊聊ClickHouse的开发、编译和测试

ClickHouse为了一款性能极佳的开源OLAP数据库,在最近几年也是越来越火,除了在各大互联网公司落地生根之外,也吸引了一大批热心的贡献者。


截止到v21.10版本,CH在全球一共有1064名contributor。

SELECT count(1)
FROM system.contributors
Query id: 7cdf54f1-cb50-45c0-99b9-14d73d283e39
┌─count()─┐
│    1064 │
└─────────┘

而要给社区贡献代码,首先就要经历一次完整的开发、编译和测试过程,文本将总结上述流程中常用到的一些工具和技巧,希望对有志于贡献CH代码的同学能有所帮助。



开发


开发环境配置可参考以下文章


  • C++开发环境最佳实践
  • vscode clangd c++开发常见问题和解决方案



编译


在编译之前,下载最新代码

git clone https://github.com/clickhouse/clickhouse

然后git submodule三连, 拉取第三方库代码

git submodule update --init --recursive 
git submodule foreach git checkout .
git submodule sync     --recursive

接下来便是编译了,由于社区已经明确不支持gcc了,所以建议使用clang-12或clang-13编译。

mkdir -p build_clang
cd build_clang
cmake  -G Ninja "-DCMAKE_C_COMPILER=$(command -v clang-13)" "-DCMAKE_CXX_COMPILER=$(command -v clang++-13)"  -DCMAKE_BUILD_TYPE=Debug -DENABLE_TESTS=0 -DENABLE_UTILS=0  -DENABLE_THINLTO=0 -DENABLE_NURAFT=0 -DDISABLE_HERMETIC_BUILD=1 ..
ninja clickhouse



调试


调试环境搭建可参考:vscode c++远程调试实战

另外调试CH的过程中最好忽略SIGUSR1SIGUSR2信号(这俩信号用于统计query的一些指标),否则你会发现调试过程老被这俩信号打断。


debugger为gdb时,设置:

handle  SIGUSR1  noprint nostop
handle  SIGUSR2  noprint nostop

debugger为lldb时,设置:

pro hand -p false -s false -n false SIGUSR1
pro hand -p false -s false -n false SIGUSR1



测试


虽然社区已经有github actions用于检查新提交PR, 但肯定不如本地检查来的快。以下将介绍几个常用的测试工具:


check-style


check-style用于检查代码风格,CH对代码的要求还是比较高的,所以建议写完代码之后用check-style工具跑一遍,看看有哪些地方不符合社区的要求。

./utils/check-style/check-style | tee style.log

一般新手常见的错误有两种:


  • 大括号没有换行写


  • 行尾有空格


functional test


CH中最普遍最常用的一种测试情况,输入为sql或shell文件, 输出为sql执行结果,如果发现sql预期执行结果与实际不同,则判定该functional test失败。


那么如何运行functional test呢,分两种情况


对于输入为sql的functional test:

export CLICKHOUSE_CLIENT="/path/to/clickhouse client --host XX --port XX --user XX --password XX -m"
cat tests/queries/0_stateless/XXX.sql | $CLICKHOUSE_CLIENT

对于输入为shell的:

export CLICKHOUSE_CLIENT="/path/to/clickhouse client --host XX --port XX --user XX --password XX -m"
bash -x  tests/queries/0_stateless/01675_distributed_bytes_to_delay_insert_long.sh

fast test


被社区用于对PR的快速验证,会执行编译,并运行部分functional tests。当你发现提交的PR没通过fast test时,最好的办法便是在本地环境复现它。

export LLVM_VERSION=13
export PULL_REQUEST_NUMBER=31104
export stage="" # stage按照顺序有"", clone_root, run, clone_submodules, run_cmake, build, configure, run_test等选项,用户可按需设置stage参数。
export FASTTEST_WORKSPACE=/path/to/fasttest/workspace # fast test会在该目录下下载PR代码并编译运行
cd ./docker/test/fasttest
bash -x run.sh  | tee run.log  

integration test


在CH中,有很多测试依赖集群环境或者其他组件(mysql, zookeeper, hdfs等等),这时functional test便行不通了,所以社区引入了integration test


在本地我们仍可运行集成测试,以test_storage_hdfs为例:

cd $prefix/tests/integration
sudo ./runner --binary $prefix/build_clang/programs/clickhouse  --odbc-bridge-binary $prefix/b



相关文章
|
21天前
|
缓存 运维 数据库
【测试人员兼职指南】利用专业技能:如何从测试转向开发赚钱
本文分享了作者作为测试人员如何利用专业技能转向开发来兼职赚钱的经验,包括分析和解决登录页面跳转、避免重复账号注册、用户登录后首页显示用户名以及添加退出功能等问题,并提供了Django项目中使用sqlite3数据库和后台管理的扩展技巧。
36 1
【测试人员兼职指南】利用专业技能:如何从测试转向开发赚钱
|
24天前
|
Java 测试技术 开发者
在软件开发中,测试至关重要,尤以单元测试和集成测试为然
在软件开发中,测试至关重要,尤以单元测试和集成测试为然。单元测试聚焦于Java中的类或方法等最小单元,确保其独立功能正确无误,及早发现问题。集成测试则着眼于模块间的交互,验证整体协作效能。为实现高效测试,需编写可测性强的代码,并选用JUnit等合适框架。同时,合理规划测试场景与利用Spring等工具也必不可少。遵循最佳实践,可提升测试质量,保障Java应用稳健前行。
31 1
|
21天前
|
测试技术 API
软件测试:Postman 工具的使用。开发及测试均需要掌握的测试工具
这篇文章详细介绍了Postman工具的各个模块功能,包括创建请求、集合、环境、自动化测试等,并解释了如何使用Postman进行GET、POST、PUT和DELETE等常见HTTP请求的测试。
|
30天前
|
运维 Kubernetes 监控
|
1月前
|
机器学习/深度学习 人工智能
高于临床测试3倍准确率!剑桥大学开发AI模型,提前6年预测阿尔茨海默症
【8月更文挑战第9天】剑桥大学研发的人工智能模型在预测阿尔茨海默症方面取得突破,准确率比传统临床测试高三倍,能提前六年预测疾病发生。该模型基于深度学习,利用大量临床及神经影像数据识别生物标志物,预测准确性达80%。这一成果有望促进早期干预,改善患者预后,但仍需更大规模研究验证,并解决隐私与公平性等问题。论文已发表于《The Lancet》子刊。
35 6
|
11天前
|
测试技术 C# 开发者
“代码守护者:详解WPF开发中的单元测试策略与实践——从选择测试框架到编写模拟对象,全方位保障你的应用程序质量”
【8月更文挑战第31天】单元测试是确保软件质量的关键实践,尤其在复杂的WPF应用中更为重要。通过为每个小模块编写独立测试用例,可以验证代码的功能正确性并在早期发现错误。本文将介绍如何在WPF项目中引入单元测试,并通过具体示例演示其实施过程。首先选择合适的测试框架如NUnit或xUnit.net,并利用Moq模拟框架隔离外部依赖。接着,通过一个简单的WPF应用程序示例,展示如何模拟`IUserRepository`接口并验证`MainViewModel`加载用户数据的正确性。这有助于确保代码质量和未来的重构与扩展。
21 0
|
14天前
|
测试技术 开发工具 Python
在Jetson Nano上编译 pyrealsense2库包,并在Intel的tof相机上进行测试
在Jetson Nano上编译 pyrealsense2库包,并在Intel的tof相机上进行测试
11 0
|
2月前
|
Java 编译器 运维
开发与运维测试问题之在JVM中方法区也被称之为什么如何解决
开发与运维测试问题之在JVM中方法区也被称之为什么如何解决
20 1
|
2月前
|
Java 开发者 运维
开发与运维测试问题之OpenJDK官方还未正式发布Compact Object Headers如何解决
开发与运维测试问题之OpenJDK官方还未正式发布Compact Object Headers如何解决
29 1
|
2月前
|
Java 大数据 测试技术
开发与运维测试问题之UseCompactObjectHeaders在SPECjbb2015基准测试中的表现如何解决
开发与运维测试问题之UseCompactObjectHeaders在SPECjbb2015基准测试中的表现如何解决
37 1