阿里云 E-MapReduce ClickHouse 操作指南 05 期 — 常见问题

简介: 阿里云 E-MapReduce(简称 EMR )是运行在阿里云平台上的一种大数据处理的系统解决方案。ClickHouse 作为开源的列式存储数据库,主要用于在线分析处理查询(OLAP),能够使用 SQL 查询实时生成分析数据报告。而阿里云 EMR ClickHouse 则提供了开源 OLAP 分析引擎 ClickHouse 的云上托管服务。

阿里云 E-MapReduce(简称EMR)是运行在阿里云平台上的一种大数据处理的系统解决方案。ClickHouse 作为开源的列式存储数据库,主要用于在线分析处理查询(OLAP),能够使用 SQL 查询实时生成分析数据报告。而阿里云 EMR ClickHouse 则提供了开源 OLAP 分析引擎 ClickHouse 的云上托管服务。


本系列文章将从以下几个方面详细介绍 EMR ClickHouse 的操作指南:


EMR ClickHouse 操作指南 — 常见问题

lALPD4BhukrEe3LNAm7NA-0_1005_622.png

一、如何创建 ClickHouse 用户?

您可以通过以下两种方法创建 ClickHouse 用户:


  • 通过在 EMR 控制台新增自定义配置项创建 ClickHouse 用户
    在 EMR 控制台 ClickHouse 服务的配置页面,单击 server-users 页签,新增参数为 users.<YourUserName>.password users.<YourUserName>.password_sha256_hex users.<YourUserName>.password_double_sha1_hex,参数值您可以自定义的配置项,保存该配置项并重启服务,即可创建用户。
    参数中的<YourUserName>需要替换为您待创建用户的名称。


说明:添加组件参数详情,请参见管理组件参数。重启服务详情,请参见重启服务


  • 通过 ClickHouse 客户端创建 ClickHouse 用户
  1. 在 EMR 控制台 ClickHouse 服务的配置页面,单击 server-users 页签,新增参数为users.default.access_management,参数值为1的配置项,保存该配置并重启服务。使用默认用户连接 ClickHouse 集群。
  2. 使用 SSH 方式登录到集群,具体步骤请参见登录集群
  3. 执行以下命令,启动 ClickHouse 客户端。
clickhouse-client
  1. 执行以下命令,创建用户。
CREATE USER IF NOT EXISTS user_test ON CLUSTER new_cluster_emr IDENTIFIED WITH plaintext_password BY '123456';

返回信息如下图所示。

lALPD2eDQ8nvvc3M1M0FHA_1308_212.png

创建用户命令格式如下。

CREATE USER [IF NOT EXISTS | OR REPLACE] name1 [ON CLUSTER cluster_name1]
        [, name2 [ON CLUSTER cluster_name2] ...]
    [NOT IDENTIFIED | IDENTIFIED {[WITH {no_password | plaintext_password | sha256_password | sha256_hash | double_sha1_password | double_sha1_hash}] BY {'password' | 'hash'}} | {WITH ldap SERVER 'server_name'} | {WITH kerberos [REALM 'realm']}]
    [HOST {LOCAL | NAME 'name' | REGEXP 'name_regexp' | IP 'address' | LIKE 'pattern'} [,...] | ANY | NONE]
    [DEFAULT ROLE role [,...]]
    [GRANTEES {user | role | ANY | NONE} [,...] [EXCEPT {user | role} [,...]]]
    [SETTINGS variable [= value] [MIN [=] min_value] [MAX [=] max_value] [READONLY | WRITABLE] | PROFILE 'profile_name'] [,...]
  1. 执行以下命令,查看已有的用户。
SHOW USERS;

返回已有的用户。

┌─name──────┐
│ default          │
│ user_test        │
│ user_test2       │
└─────────┘


二、如何修改 ClickHouse 集群标识?

您可以在 EMR 控制台 ClickHouse 服务的配置页面,在搜索区域搜索clickhouse_remote_servers 参数,将默认配置中的 cluster_emr 修改为需要的名称。例如,修改 cluster_emr new_cluster_name,修改信息如下:


  • 修改前
<cluster_emr>
  <shard>
    ...
  </shard>
  ...
</cluster_emr>
  • 修改后
<new_cluster_emr>
  <shard>
    ...
  </shard>
  ...
</new_cluster_emr>


三、如何设置 ClickHouse 多盘存储?

ClickHouse 默认数据存储策略是存储在一块磁盘上,如果您希望将数据存储到所有机器的磁盘上,则需要在建表语句指定storage_policy参数。


创建表时需要配置存储策略,代码示例如下。

CREATE TABLE db (
)ENGINE = <your_MergeTree>
SETTINGS storage_policy = '<your_storage_policy>'


  • <your_storage_policy>:您可以在 EMR 控制台 ClickHouse 服务的配置页面,在搜索区域搜索 storage_configuration 参数,本文示例中 policies 层级下的 hdd_in_order 即为参数值。


注意: 参数值请填写为您实际查询到的。

image.png

  • <your_MergeTree>:引擎名和参数。根据您实际需求自定义,引擎(ENGINE)详细信息,请参见MergeTree


回顾

EMR ClickHouse 操作指南系列到此结束,本系列还包括以下内容,点击链接回顾吧~




获取更详细的信息,点击下方链接查看:

EMR官网:https://www.aliyun.com/product/emapreduce

EMR ClickHouse :https://help.aliyun.com/document_detail/212195.html


扫描下方二维码加入 EMR 相关产品钉钉交流群一起参与讨论吧!

lALPD26eQMAeAf_NAd7NAvs_763_478.png

相关实践学习
数据湖构建DLF快速入门
本教程通过使⽤数据湖构建DLF产品对于淘宝用户行为样例数据的分析,介绍数据湖构建DLF产品的数据发现和数据探索功能。
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统,包括 Hadoop、Spark、HBase,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
相关文章
|
22天前
|
域名解析 移动开发 负载均衡
阿里云DNS常见问题之DNS负载均衡调加权模式失败如何解决
阿里云DNS(Domain Name System)服务是一个高可用和可扩展的云端DNS服务,用于将域名转换为IP地址,从而让用户能够通过域名访问云端资源。以下是一些关于阿里云DNS服务的常见问题合集:
|
22天前
|
缓存 Kubernetes 网络协议
阿里云DNS常见问题之在手机上使用阿里的私人dns失败如何解决
阿里云DNS(Domain Name System)服务是一个高可用和可扩展的云端DNS服务,用于将域名转换为IP地址,从而让用户能够通过域名访问云端资源。以下是一些关于阿里云DNS服务的常见问题合集:
|
22天前
|
tengine 网络协议 API
阿里云DNS常见问题之DNS中alidns的api调用失败如何解决
阿里云DNS(Domain Name System)服务是一个高可用和可扩展的云端DNS服务,用于将域名转换为IP地址,从而让用户能够通过域名访问云端资源。以下是一些关于阿里云DNS服务的常见问题合集:
|
28天前
|
存储 Kubernetes Docker
容器服务ACK常见问题之阿里云控制台进不去了如何解决
容器服务ACK(阿里云容器服务 Kubernetes 版)是阿里云提供的一种托管式Kubernetes服务,帮助用户轻松使用Kubernetes进行应用部署、管理和扩展。本汇总收集了容器服务ACK使用中的常见问题及答案,包括集群管理、应用部署、服务访问、网络配置、存储使用、安全保障等方面,旨在帮助用户快速解决使用过程中遇到的难题,提升容器管理和运维效率。
|
1月前
|
SQL 数据采集 分布式计算
DataWorks常见问题之添加阿里云selectdb失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
1月前
|
SQL 分布式计算 关系型数据库
阿里云E-MapReduce Trino专属集群外连引擎及权限控制踩坑实践
本文以云厂商售后技术支持的角度,从客户的需求出发,对于阿里云EMR-Trino集群的选型,外连多引擎的场景、Ldap以及Kerberos鉴权等问题进行了简要的实践和记录,模拟客户已有的业务场景,满足客户需求的同时对过程中的问题点进行解决、记录和分析,包括但不限于Mysql、ODPS、Hive connector的配置,Hive、Delta及Hudi等不同表格式读取的兼容,aws s3、阿里云 oss协议访问异常的解决等。
|
1天前
|
人工智能 安全 云计算
阿里云服务器购买之后发票如何申请?申请发票流程及常见问题参考
申请发票是很多用户尤其是企业级用户在购买完阿里云服务器之后非常关注的问题,对于初次购买阿里云服务器的用户来说,往往并不清楚如何找阿里云申请发票,本文以图文形式为大家介绍阿里云服务器购买完成之后申请发票的详细流程以及常见问题。
阿里云服务器购买之后发票如何申请?申请发票流程及常见问题参考
|
21天前
|
存储 弹性计算 物联网
阿里云代金券、提货券、优惠券、储值卡领取及使用常见问题汇总
阿里云代金券、优惠券、提货券、储值卡是是阿里云最常见的几个优惠券种,官方发布这些券种的目的旨在为更多用户提供优惠上云的福利,代金券、优惠券、提货券、储值卡在性质及领取和使用上既有相同也有不同,下面是小编根据官方2024年的文档资料整理汇总的阿里云代金券、优惠券、提货券、储值卡领取及使用常见问题。
阿里云代金券、提货券、优惠券、储值卡领取及使用常见问题汇总
|
21天前
|
存储 缓存 负载均衡
阿里云DNS常见问题之域名DNS跳转有问题如何解决
阿里云DNS(Domain Name System)服务是一个高可用和可扩展的云端DNS服务,用于将域名转换为IP地址,从而让用户能够通过域名访问云端资源。以下是一些关于阿里云DNS服务的常见问题合集:
|
22天前
|
域名解析 缓存 运维
阿里云DNS常见问题之DNS要刷新多遍才能打开如何解决
阿里云DNS(Domain Name System)服务是一个高可用和可扩展的云端DNS服务,用于将域名转换为IP地址,从而让用户能够通过域名访问云端资源。以下是一些关于阿里云DNS服务的常见问题合集: