ClickHouse(08)ClickHouse表引擎概况

2024-05-25 22

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

实时计算 Flink 版，5000CU*H 3个月

检索分析服务 Elasticsearch 版，2核4GB开发者规格 1个月

大数据开发治理平台 DataWorks，不限时长

简介： ClickHouse支持四种主要表引擎系列：MergeTree家族，适用于大数据插入并按主键排序；日志引擎系列，适合小数据量写入，如StripeLog、Log和TinyLog；集成表引擎，如ODBC、JDBC，用于与外部系统集成；特殊引擎，包括分布式、内存、随机数生成等，满足特定需求。MergeTree系列提供数据副本和分区，日志系列不支持索引和突变操作。详细解析见相关文章链接。

目前ClickHouse的表引擎主要有下面四个系列，合并树家族、日志引擎系列、集成的表引擎和其他特殊的引擎。

合并树家族

Clickhouse中最强大的表引擎当属MergeTree（合并树）引擎及该系列（MergeTree）中的其他引擎。

MergeTree系列的引擎被设计用于插入极大量的数据到一张表当中。数据可以以数据片段的形式一个接着一个的快速写入，数据片段在后台按照一定的规则进行合并。相比在插入时不断修改（重写）已存储的数据，这种策略会高效很多。

主要特点

存储的数据按主键排序。这使得您能够创建一个小型的稀疏索引来加快数据检索。
如果指定了分区键的话，可以使用分区。在相同数据集和相同结果集的情况下ClickHouse中某些带分区的操作会比普通操作更快。查询中指定了分区键时ClickHouse会自动截取分区数据。这也有效增加了查询性能。
支持数据副本。ReplicatedMergeTree系列的表提供了数据副本功能。
支持数据采样。需要的话，您可以给表设置一个采样方法。

日志引擎系列

这些引擎是为了需要写入许多小数据量（少于一百万行）的表的场景而开发的。

这系列的引擎有：

StripeLog
日志
TinyLog

共同属性

数据存储在磁盘上。
写入时将数据追加在文件末尾。
不支持突变操作。
不支持索引。这意味着SELECT在范围查询时效率不高。
非原子地写入数据。如果某些事情破坏了写操作，例如服务器的异常关闭，你将会得到一张包含了损坏数据的表。

当然他们之间也会有差异。

主要差异点

Log和StripeLog引擎支持：

并发访问数据的锁。INSERT请求执行过程中表会被锁定，并且其他的读写数据的请求都会等待直到锁定被解除。如果没有写数据的请求，任意数量的读请求都可以并发执行。
并行读取数据。在读取数据时，ClickHouse使用多线程。每个线程处理不同的数据块。

Log引擎为表中的每一列使用不同的文件。StripeLog将所有的数据存储在一个文件中。因此StripeLog引擎在操作系统中使用更少的描述符，但是Log引擎提供更高的读性能。
TinyLog引擎是该系列中最简单的引擎并且提供了最少的功能和最低的性能。TinyLog引擎不支持并行读取和并发数据访问，并将每一列存储在不同的文件中。它比其余两种支持并行读取的引擎的读取速度更慢，并且使用了和Log引擎同样多的描述符。你可以在简单的低负载的情景下使用它。

集成的表引擎

ClickHouse 提供了多种方式来与外部系统集成，包括表引擎。像所有其他的表引擎一样，使用CREATE TABLE或ALTER TABLE查询语句来完成配置。然后从用户的角度来看，配置的集成看起来像查询一个正常的表，但对它的查询是代理给外部系统的。这种透明的查询是这种方法相对于其他集成方法的主要优势之一，比如外部字典或表函数，它们需要在每次使用时使用自定义查询方法。

以下是支持的集成方式:

ODBC
JDBC
MySQL
MongoDB
HDFS
S3
Kafka
EmbeddedRocksDB
RabbitMQ
PostgreSQL
SQLite
Hive

其他特殊的引擎

其他的表引擎用于特定的场景。具体使用什么引擎要根据具体的需求来分析。这里我们简单说一下有哪些表引擎，具体使用情况，我们后面再更新。

分布式引擎：分布式引擎本身不存储数据,但可以在多个服务器上进行分布式查询。读是自动并行的。读取时，远程服务器表的索引（如果有的话）会被使用。
关联表引擎：使用JOIN操作的一种可选的数据结构。Join表的数据总是保存在内存中。当往表中插入行记录时，CH会将数据块保存在硬盘目录中，这样服务器重启时数据可以恢复。如果服务器非正常重启，保存在硬盘上的数据块会丢失或被损坏。这种情况下，需要手动删除被损坏的数据文件。简单来说，这个是一种对join操作的优化的引擎。
内存表：Memory 引擎以未压缩的形式将数据存储在RAM中。数据完全以读取时获得的形式存储。换句话说，从这张表中读取是很轻松的。并发数据访问是同步的。锁范围小：读写操作不会相互阻塞。不支持索引。查询是并行化的。在简单查询上达到最大速率（超过10GB/秒），因为没有磁盘读取，不需要解压缩或反序列化数据。（值得注意的是，在许多情况下，与 MergeTree 引擎的性能几乎一样高）。重新启动服务器时，表中的数据消失，表将变为空。通常，使用此表引擎是不合理的。但是，它可用于测试，以及在相对较少的行（最多约100,000,000）上需要最高性能的查询。
随机数生成表引擎：随机数生成表引擎为指定的表模式生成随机数。
缓冲区：缓冲数据写入RAM中，周期性地将数据刷新到另一个表。在读取操作时，同时从缓冲区和另一个表读取数据。
字典：Dictionary引擎将字典数据展示为一个ClickHouse的表。
用于查询处理的外部数据：ClickHouse允许向服务器发送处理查询所需的数据以及SELECT查询。这些数据放在一个临时表中，可以在查询中使用（例如，在IN操作符中）。
文件(输入格式)：数据源是以Clickhouse支持的一种输入格式（TabSeparated，Native等）存储数据的文件。
MaterializedView：物化视图，视图的数据会物化到数据盘。
合并：Merge引擎(不要跟MergeTree引擎混淆)本身不存储数据，但可用于同时从任意多个其他的表中读取数据。读是自动并行的，不支持写入。读取时，那些被真正读取到数据的表的索引（如果有的话）会被使用。
Null：当写入Null类型的表时，将忽略数据。从Null类型的表中读取时，返回空。
集合：始终存在于RAM中的数据集。它适用于IN运算符的右侧。
URL：用于管理远程HTTP/HTTPS服务器上的数据。该引擎类似文件引擎。
视图：它不存储数据，仅存储指定的SELECT查询。从表中读取时，它会运行此查询（并从查询中删除所有不必要的列）。

ClickHouse(08)ClickHouse表引擎概况

合并树家族

日志引擎系列

集成的表引擎

其他特殊的引擎

clickhouse系列文章

大数据与机器学习

热门文章

最新文章

相关课程

相关电子书

相关实验场景

推荐镜像