阿里云 E-MapReduce ClickHouse 操作指南 05 期 — 常见问题

本文涉及的产品
EMR Serverless StarRocks,5000CU*H 48000GB*H
简介: 阿里云 E-MapReduce(简称 EMR )是运行在阿里云平台上的一种大数据处理的系统解决方案。ClickHouse 作为开源的列式存储数据库,主要用于在线分析处理查询(OLAP),能够使用 SQL 查询实时生成分析数据报告。而阿里云 EMR ClickHouse 则提供了开源 OLAP 分析引擎 ClickHouse 的云上托管服务。

阿里云 E-MapReduce(简称EMR)是运行在阿里云平台上的一种大数据处理的系统解决方案。ClickHouse 作为开源的列式存储数据库,主要用于在线分析处理查询(OLAP),能够使用 SQL 查询实时生成分析数据报告。而阿里云 EMR ClickHouse 则提供了开源 OLAP 分析引擎 ClickHouse 的云上托管服务。


本系列文章将从以下几个方面详细介绍 EMR ClickHouse 的操作指南:


EMR ClickHouse 操作指南 — 常见问题

lALPD4BhukrEe3LNAm7NA-0_1005_622.png

一、如何创建 ClickHouse 用户?

您可以通过以下两种方法创建 ClickHouse 用户:


  • 通过在 EMR 控制台新增自定义配置项创建 ClickHouse 用户
    在 EMR 控制台 ClickHouse 服务的配置页面,单击 server-users 页签,新增参数为 users.<YourUserName>.password users.<YourUserName>.password_sha256_hex users.<YourUserName>.password_double_sha1_hex,参数值您可以自定义的配置项,保存该配置项并重启服务,即可创建用户。
    参数中的<YourUserName>需要替换为您待创建用户的名称。


说明:添加组件参数详情,请参见管理组件参数。重启服务详情,请参见重启服务


  • 通过 ClickHouse 客户端创建 ClickHouse 用户
  1. 在 EMR 控制台 ClickHouse 服务的配置页面,单击 server-users 页签,新增参数为users.default.access_management,参数值为1的配置项,保存该配置并重启服务。使用默认用户连接 ClickHouse 集群。
  2. 使用 SSH 方式登录到集群,具体步骤请参见登录集群
  3. 执行以下命令,启动 ClickHouse 客户端。
clickhouse-client
  1. 执行以下命令,创建用户。
CREATE USER IF NOT EXISTS user_test ON CLUSTER new_cluster_emr IDENTIFIED WITH plaintext_password BY '123456';

返回信息如下图所示。

lALPD2eDQ8nvvc3M1M0FHA_1308_212.png

创建用户命令格式如下。

CREATE USER [IF NOT EXISTS | OR REPLACE] name1 [ON CLUSTER cluster_name1]
        [, name2 [ON CLUSTER cluster_name2] ...]
    [NOT IDENTIFIED | IDENTIFIED {[WITH {no_password | plaintext_password | sha256_password | sha256_hash | double_sha1_password | double_sha1_hash}] BY {'password' | 'hash'}} | {WITH ldap SERVER 'server_name'} | {WITH kerberos [REALM 'realm']}]
    [HOST {LOCAL | NAME 'name' | REGEXP 'name_regexp' | IP 'address' | LIKE 'pattern'} [,...] | ANY | NONE]
    [DEFAULT ROLE role [,...]]
    [GRANTEES {user | role | ANY | NONE} [,...] [EXCEPT {user | role} [,...]]]
    [SETTINGS variable [= value] [MIN [=] min_value] [MAX [=] max_value] [READONLY | WRITABLE] | PROFILE 'profile_name'] [,...]
  1. 执行以下命令,查看已有的用户。
SHOW USERS;

返回已有的用户。

┌─name──────┐
│ default          │
│ user_test        │
│ user_test2       │
└─────────┘


二、如何修改 ClickHouse 集群标识?

您可以在 EMR 控制台 ClickHouse 服务的配置页面,在搜索区域搜索clickhouse_remote_servers 参数,将默认配置中的 cluster_emr 修改为需要的名称。例如,修改 cluster_emr new_cluster_name,修改信息如下:


  • 修改前
<cluster_emr>
  <shard>
    ...
  </shard>
  ...
</cluster_emr>
  • 修改后
<new_cluster_emr>
  <shard>
    ...
  </shard>
  ...
</new_cluster_emr>


三、如何设置 ClickHouse 多盘存储?

ClickHouse 默认数据存储策略是存储在一块磁盘上,如果您希望将数据存储到所有机器的磁盘上,则需要在建表语句指定storage_policy参数。


创建表时需要配置存储策略,代码示例如下。

CREATE TABLE db (
)ENGINE = <your_MergeTree>
SETTINGS storage_policy = '<your_storage_policy>'


  • <your_storage_policy>:您可以在 EMR 控制台 ClickHouse 服务的配置页面,在搜索区域搜索 storage_configuration 参数,本文示例中 policies 层级下的 hdd_in_order 即为参数值。


注意: 参数值请填写为您实际查询到的。

image.png

  • <your_MergeTree>:引擎名和参数。根据您实际需求自定义,引擎(ENGINE)详细信息,请参见MergeTree


回顾

EMR ClickHouse 操作指南系列到此结束,本系列还包括以下内容,点击链接回顾吧~




获取更详细的信息,点击下方链接查看:

EMR官网:https://www.aliyun.com/product/emapreduce

EMR ClickHouse :https://help.aliyun.com/document_detail/212195.html


扫描下方二维码加入 EMR 相关产品钉钉交流群一起参与讨论吧!

lALPD26eQMAeAf_NAd7NAvs_763_478.png

相关实践学习
基于EMR Serverless StarRocks一键玩转世界杯
基于StarRocks构建极速统一OLAP平台
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统,包括 Hadoop、Spark、HBase,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
相关文章
|
1月前
|
存储 分布式计算 数据库
阿里云国际版设置数据库云分析工作负载的 ClickHouse 版
阿里云国际版设置数据库云分析工作负载的 ClickHouse 版
|
4月前
|
存储 大数据 关系型数据库
从 ClickHouse 到阿里云数据库 SelectDB 内核 Apache Doris:快成物流的数智化货运应用实践
目前已经部署在 2 套生产集群,存储数据总量达百亿规模,覆盖实时数仓、BI 多维分析、用户画像、货运轨迹信息系统等业务场景。
|
5月前
|
SQL Oracle 关系型数据库
实时计算 Flink版产品使用问题之如何对ClickHouse进行操作
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
6月前
|
存储 Cloud Native 大数据
国内独家|阿里云瑶池发布ClickHouse企业版:云原生Serverless新体验
全面升级为云原生架构,支持云原生按需弹性Serverless能力,解决了长期困扰用户的集群扩展效率和平滑性问题。
国内独家|阿里云瑶池发布ClickHouse企业版:云原生Serverless新体验
|
6月前
|
存储 容灾 Cloud Native
阿里云ClickHouse企业版正式商业化,为开发者提供容灾性更好、性价比更高的实时数仓
2024年4月23日,阿里云联合 ClickHouse Inc. 成功举办了企业版商业化发布会。阿里云 ClickHouse 企业版是阿里云和 ClickHouse 原厂 ClickHouse. Inc 独家合作的存算分离的云原生版本,支持资源按需弹性 Serverless,帮助企业降低成本的同时,为企业带来更多商业价值。
524 1
|
6月前
|
SQL 关系型数据库 MySQL
实时计算 Flink版产品使用合集之sql读取mysql写入clickhouse,该如何操作
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
6月前
|
云安全 运维 安全
阿里云国际站ATT&CK 多产品安全实践
本文根据MITRE ATT&CK的Cloud Matrix攻防知识图谱的·解读,介绍如何在阿里云国际站上通过多产品的组合实践,加强您的云安全防护能力,更好地达到安全运营的效果。
276 1
阿里云国际站ATT&CK 多产品安全实践
|
6月前
|
存储 缓存 运维
阿里云数据库 ClickHouse 云原生版产品解析
ClickHouse 介绍ClickHouse 是一款当前非常流行的开源在线分析型数据库。ClickHouse 主要应用于实时数仓构建、大数据加速分析、宽表日志分析等通用场景,服务于流量漏斗分析,用户行为分析,人群圈选,用户画像,广告投放人群评估、ABTest 、大促分析,CDP/DMP 等业务场景...
184 0
|
1月前
|
分布式计算 资源调度 Hadoop
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
96 3
|
5月前
|
分布式计算 Hadoop Java
Hadoop MapReduce编程
该教程指导编写Hadoop MapReduce程序处理天气数据。任务包括计算每个城市ID的最高、最低气温、气温出现次数和平均气温。在读取数据时需忽略表头,且数据应为整数。教程中提供了环境变量设置、Java编译、jar包创建及MapReduce执行的步骤说明,但假设读者已具备基础操作技能。此外,还提到一个扩展练习,通过分区功能将具有相同尾数的数字分组到不同文件。
64 1

相关产品

  • 开源大数据平台 E-MapReduce