阿里云 E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理的系统解决方案。ClickHouse 作为开源的列式存储数据库，主要用于在线分析处理查询（OLAP），能够使用 SQL 查询实时生成分析数据报告。而阿里云 EMR ClickHouse 则提供了开源 OLAP 分析引擎 ClickHouse 的云上托管服务。

本系列文章将从以下几个方面详细介绍 EMR ClickHouse 的操作指南：

• ClickHouse 概述
• 快速入门
• ClickHouse 运维（本文）
• 数据导入
• 常见问题

EMR ClickHouse 操作指南 — ClickHouse 运维

一、日志配置说明

——EMR 支持在控制台查看或配置日志参数，也支持在命令行中设置参数。

前提条件

已创建集群，详情请参见创建集群。

Clickhouse 控制台日志配置

您可以在 ClickHouse 服务配置页面的服务配置区域，在 server-config 页签中查看或修改配置，或者在 ClickHouse 服务的配置页面，在搜索区域搜索 logger.，即可查看或修改所有的日志配置项。

ClickHouse 客户端日志配置

您可以通过配置客户端日志，来接收来自服务端的日志，默认接收 fatal 级别的日志。

1. 通过 SSH 方式登录集群，详情请参见登录集群。
2. 基本操作示例。

• 查看每次执行的日志。

1. 执行以下命令， 启动 clickhouse-client。
   clickhouse-client
   
2. 您可以执行以下命令，设置参数 send_logs_level 查看每次执行的日志。
   set send_logs_level='debug';

返回信息如下所示。

• 在 clickhouse-client 启动时，您可以执行以下命令，将日志保存到指定的文件中。

clickhouse-client --send_logs_level=trace --log-level=trace --server_logs_file='/tmp/query.log'

二、系统表说明

——系统表存储于 System 数据库中，仅提供数据读取功能，不能被删除或更改，但可以对其进行分离（detach）操作。大多数系统表将其数据存储在 RAM 中，一个 ClickHouse 服务在刚启动时便会创建此类系统表。

背景信息

常用系统表如下：

• system.clusters
• system.query_log
• system.zookeeper
• system.replicas
• system.storage_policies
• system.disks

更多系统表信息，请参见ClickHouse官方文档。

system.clusters

——该表包含了配置文件中可用的集群及其服务器的信息。

示例：您可以执行以下命令，查看表信息。

SELECT * FROMsystem.clusters LIMIT2FORMAT Vertical;

返回信息如下。

system.query_log

——该表包含了已执行查询的相关信息。例如，开始时间、处理持续时间和错误消息。

system.query_log 表中记录了两种查询：

• 客户端直接运行的初始查询。
• 由其它查询启动的子查询（用于分布式查询执行）。 对于这些类型的查询，有关父查询的信息显示在initial_*列。

根据查询的状态（请参见type列），每个查询在查询日志表中创建一行或两行记录：

• 如果查询执行成功，则会创建type为QueryStart和QueryFinish的两行记录信息。
• 如果在查询处理期间发生错误，则会创建type为QueryStart和ExceptionWhileProcessing的两行记录信息。
• 如果在启动查询之前发生错误，则会创建type为ExceptionBeforeStart的一行记录信息。

示例：您可以执行以下命令，查看表信息。

SELECT * FROMsystem.query_log LIMIT1FORMAT Vertical;

返回信息如下。

system.zookeeper

——该表可以查到 ZooKeeper 中的节点信息。

如果未配置 ZooKeeper，则该表不存在。 允许从配置中定义的 ZooKeeper 集群读取数据。 查询必须具有path=条件，或使用WHERE子句设置了 path IN 条件，这对应于 ZooKeeper 中要获取数据的子对象的路径。

查询语句SELECT * FROM system.zookeeper WHERE path = '/clickhouse'，输出/clickhouse节点的对所有子路径的数据。如果需要输出所有根节点的数据，请写入路径为‘/’。 如果path中指定的路径不存在，则将提示异常。

查询语句SELECT * FROM system.zookeeper WHERE path IN ('/', '/clickhouse')，输出/和/clickhouse节点上所有子节点的数据。 如果path中指定的路径不存在，则将提示异常。它可以用于一批 ZooKeeper 路径的查询。

示例：您可以执行以下命令，查看表信息。

SELECT *
FROM system.zookeeper
WHERE path = '/clickhouse/tables/01-08/visits/replicas'
FORMAT Vertical

返回信息如下。

system.replicas

——该表包含本地服务所有复制表的信息和状态，可以用于监控。

示例：您可以执行以下命令，查看表信息。

SELECT * FROMsystem.replicas WHERE table = 'visits'FORMAT Vertical

返回信息如下。

system.storage_policies

——该表包含了有关存储策略和卷的优先级相关的信息。

示例：您可以执行以下命令，查看表信息。

SELECT * FROMsystem.storage_policies

返回信息如下。

system.disks

——该表包含了配置中定义的磁盘信息。

示例：您可以执行以下命令，查看表信息。

SELECT * FROMsystem.disks;

返回信息如下。

三、监控

——EMR 上的 ClickHouse 集群提供了完善的监控体系，分为服务监控和节点监控两个维度。

背景信息

ClickHouse 集群服务监控只有 ClickHouse 和 Zookeeper 服务。在集群监控大盘的集群指标页面，可以查看不同组件的监控数据，可以根据需求选择时间粒度。

前提条件

已创建 ClickHouse 集群，详情请参见操作指南02期--快速入门

查看服务监控

1. 进入监控大盘页面。

1. 登录阿里云E-MapReduce控制台。
2. 在顶部菜单栏处，根据实际情况选择地域和资源组。
3. 单击上方的监控大盘页签。

2. 单击上方的集群指标页签。
3. 查看 ZOOKEEPER 服务和 ClickHouse 服务的监控数据。

• 单击 HOST，选择 ZOOKEEPER 服务。

• 单击 HOST，选择 CLICKHOUSE 服务。

ClickHouse 的监控指标分为3组，分别来自 ClickHouse 的三个系统表 metrics、events 和 asynchronous_metrics。

查看节点监控

查看节点监控又分为节点部署状态和查看节点详细监控指标。

查看部署状态

1. 进入集群详情页面。

1. 登录阿里云 E-MapReduce 控制台。
2. 在顶部菜单栏处，根据实际情况选择地域和资源组。
3. 单击上方的集群管理页签。
4. 在集群管理页面，单击相应集群所在行的详情。

2. 查看 Zookeeper 服务或 ClickHouse 服务的监控数据。

1. 在左侧导航栏中，选择集群服务 > Zookeeper。ClickHouse服务，需要选择集群服务 > ClickHouse。
   
2. 单击部署拓扑页签。该页面展示了部署服务的进程的实时状态，方便您监控组件的情况。

查看节点详细监控指标

1. 进入监控大盘页面。

1. 登录阿里云 E-MapReduce 控制台。
2. 在顶部菜单栏处，根据实际情况选择地域和资源组。
3. 单击上方的监控大盘页签。

2. 单击上方的集群指标页签。
3. 从 clusterid 下拉列表中，选择您创建的集群 ID，hostname 下拉列表中，选择节点名称。该页面展示了节点具体的监控指标的情况，包括 Load、Disk、内存、网络和 TCP 等信息。

四、配置项说明

—— EMR 的 ClickHouse 集群中，主要提供了四种服务配置项以配置 ClickHouse 集群，包括客户端配置、服务端配置、用户权限配置和拓展配置。

背景信息

ClickHouse 集群提供的四种服务配置项信息如下表。

前提条件

已创建 E-MapReduce 的 ClickHouse 集群，详情请参见创建集群。

注意事项

由于 ClickHouse 配置采用 XML 文件形式，所以相对比较灵活，可以进行多层嵌套。自定义配置时规则如下：

• 如果配置可以直接填写在 yandex 标签下，则可以直接新增。
• 如果配置包含多层嵌套，每层需要直接使用半角句号（.）进行连接。例如，在 server-users 页签中，添加新的用户 aliyun，可以设置参数为 users.aliyun.password，参数值为密码，您可以自定义。
  
• 自定义配置中，请勿使用 XML 类型作为参数或者参数值。

client-config

该服务配置项用于生成 clickhouse-client 所使用的 config.xml 文件。您可以在 EMR 控制台 ClickHouse 服务的配置页面，单击 client-config 页签，查看以下参数。

server-config

该服务配置项用来生成 clickhouse-server 进程所使用的 config.xml 文件。您可以在 EMR 控制台 ClickHouse 服务的配置页面，单击 server-config 页签，查看以下参数。

server-metrika

该服务配置项用于生成 metrika.xml 文件，其默认被 ClickHouse Server 的 config 所引用。您可以在 EMR 控制台 ClickHouse 服务的配置页面，在默认的 server-config 页签，查看以下参数。

例如，创建集群时设置2个 Shard 和2个 Replica，则 clickhouse_remote_servers 值如下所示：

例如，服务器上包含4块磁盘时，则 storage_configuration 值如下所示：

相关文档

ClickHouse 参数的详情信息，可以参见以下官方文档：

• Server Settings
• Settings
• MergeTree tables settings

后续步骤

如果需要修改或添加配置项，请参见管理组件参数。

五、访问权限控制

—— EMR 的 ClickHouse 集群中，主要提供了四种服务配置项以配置 ClickHouse 集群，包括客户端配置、服务端配置、用户权限配置和拓展配置。

背景信息

用户访问权限配置在 server-users 和 server-metrika 文件中，包含 users、profiles 和 quotas 三部分配置。详细配置信息：

• users 配置
• profiles 配置
• quotas 配置

说明 ClickHouse 服务的客户端配置、服务端配置和拓展配置的详细信息，请参见前文配置项说明。

前提条件

已创建 E-MapReduce 的 ClickHouse 集群

users 配置

您可以在 ClickHouse 服务配置页面的服务配置区域，查看或修改配置。users 配置在 server-users 页签中。

profiles 配置

您可以在 ClickHouse 服务配置页面的服务配置区域，查看或修改配置。profiles 配置在 server-users 页签中。

quotas 配置

您可以在 ClickHouse 服务配置页面的服务配置区域，查看或修改配置。quotas 配置在 server-metrika 页签中。

quotas_default：ClickHouse 允许配置不同的 quota 以灵活的使用不同的资源限制。修改该配置项可以修改名为 default 的 quota 设置（users.default.quota）。如果需要添加新的 quota 设置，你可以单击右上角的自定义配置，详细操作请参见添加组件参数。

后续

您已经学习了 ClickHouse 运维，本系列还包括其他内容：

• ClickHouse 概述
• 快速入门
• 数据导入
• 常见问题

获取更详细的信息，点击下方链接查看：

EMR官网：https://www.aliyun.com/product/emapreduce

EMR ClickHouse ：https://help.aliyun.com/document_detail/212195.html

扫描下方二维码加入 EMR 相关产品钉钉交流群一起参与讨论吧！