备案控制台
开发者社区 数据库 文章 正文

【大数据安全】Apache Kylin 安全配置(Kerberos)

2018-09-19 2561
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本文首先会简单介绍Kylin的安装配置，然后介绍启用Kerberos的CDH集群中如何部署及使用Kylin。 Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。

1. 概述

本文首先会简单介绍Kylin的安装配置，然后介绍启用Kerberos的CDH集群中如何部署及使用Kylin。

Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。

image

1.2 环境说明

  • CDH版本：5.11.2
  • Linux版本：7.4.1708
  • Docker版本：Docker version 18.06.0-ce
  • JDK版本：1.8
  • 操作用户：root

2.Kylin安装配置

2.1 安装

此处以Kylin 2.0.0版本为例。
社区版Kylin地址：https://archive.apache.org/dist/kylin/

[root@node-3 ~]# cd /usr/local/src/
[root@node-3 src]# wget https://archive.apache.org/dist/kylin/apache-kylin-2.0.0/apache-kylin-2.0.0-bin-cdh57.tar.gz
[root@node-3 src]# tar xf apache-kylin-2.0.0-bin-cdh57.tar.gz 
[root@node-3 src]# cp -a apache-kylin-2.0.0-bin /usr/local/
[root@node-3 src]# ln -s /usr/local/apache-kylin-2.0.0-bin /usr/local/kylin

2.2 环境配置

export BASE_PATH_BIG=/opt/cloudera/parcels/CDH/lib

#added by Hbase
export HBASE_HOME=$BASE_PATH_BIG/hbase

#added by HCat
export HCAT_HOME=/opt/cloudera/parcels/CDH/lib/hive-hcatalog/share/hcatalog

#added by Kylin
export KYLIN_HOME=/usr/local/kylin
export PATH=$HBASE_HOME/bin:$PATH

然后执行source /etc/profile生效。

2.3 Kylin配置

编辑/usr/local/kylin/conf/kylin.properites文件，新增以下配置：

Kylin2.0+版本配置的名称有变化，具体参考：https://github.com/apache/kylin/blob/2.0.x/core-common/src/main/resources/kylin-backward-compatibility.properties

## 修改配置（替换地址）
kylin.rest.servers=192.168.100.102:7070

## 新增配置
kylin.job.jar=/usr/local/apache-kylin-2.0.0-bin/lib/kylin-job-2.0.0.jar
kylin.coprocessor.local.jar=/usr/local/apache-kylin-2.0.0-bin/lib/kylin-coprocessor-2.0.0.jar
## 替换地址
kylin.job.yarn.app.rest.check.status.url=http://cdh-node-2:8088/ws/v1/cluster/apps/${job_id}?anonymous=true
kylin.job.mr.lib.dir=/opt/cloudera/parcels/CDH-5.11.2-1.cdh5.11.2.p0.4/lib/sentry/lib
配置说明：

更多配置请参考官网配置指南。

2.4 创建用户

在每个节点创建Kylin用户

useradd kylin

3. Kerberos配置

3.1 创建kylin账号

在Kerberos server上创建kylin账号：

[root@cdh-node-1 /]# kadmin.local
Authenticating as principal admin/admin@HWINFO.COM with password.
kadmin.local:  addprinc kylin
WARNING: no policy specified for kylin@HWINFO.COM; defaulting to no policy
Enter password for principal "kylin@HWINFO.COM":
Re-enter password for principal "kylin@HWINFO.COM":
add_principal: Principal or policy already exists while creating "kylin@HWINFO.COM".
kadmin.local:

3.2 生成keytab文件

生成kylin账号keytab文件：

xst -norandkey -k klin.keytab kylin@HWINFO.COM

将kylin.keytab复制到每个kylin节点上。

3.3 定时刷新kt

在kylin节点上配置定时任务进行kinit命令：

kinit -k -t /root/kylin.keytab kylin@HWINFO.COM

添加定时任务,这里设置每天凌晨1点执行一次，可根据kerberos的过期时间自己配置。

  • 编写shell脚本：
[root@cdh-node-2 security]# cat init_kt.sh
#!/bin/bash
kinit -kt ./kylin.keytab kylin@HWINFO.COM
  • 添加定时任务：
[root@cdh-node-2 security]# crontab -e

# 添加以下内容
0 1 * * * root /home/security/init_kt.sh  > /tmp/kylin-ktinit.log 2>&1

# 查看定时任务
[root@cdh-node-2 security]# crontab -l
0 1 * * * root /home/security/init_kt.sh  > /tmp/kylin-ktinit.log 2>&1

3.4 添加Hive权限

  • 登录Hive
    使用拥有操作hive权限的kerberos账户登录beeline：
[root@cdh-node-3 hive]# beeline -u 'jdbc:hive2://cdh-node-3:10000/default;principal=hive/cdh-node-3@HWINFO.COM'
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8.0
Java HotSpot(TM) 64-Bit Server VM warning: Using incremental CMS is deprecated and will likely be removed in a future release
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8.0
scan complete in 2ms
Connecting to jdbc:hive2://cdh-node-3:10000/default;principal=hive/cdh-node-3@HWINFO.COM
Connected to: Apache Hive (version 1.1.0-cdh5.11.2)
Driver: Hive JDBC (version 1.1.0-cdh5.11.2)
Transaction isolation: TRANSACTION_REPEATABLE_READ
Beeline version 1.1.0-cdh5.11.2 by Apache Hive
0: jdbc:hive2://cdh-node-3:10000/default>
  • 添加kylin权限
    将admin角色权限赋予kylin：
0: jdbc:hive2://cdh-node-3:10000/default> grant role admin to user kylin;
INFO  : Compiling command(queryId=hive_20180914174141_6359e1a1-251f-4116-b646-0aa9f55dcfa8): grant role admin to user leili
INFO  : Semantic Analysis Completed
INFO  : Returning Hive schema: Schema(fieldSchemas:null, properties:null)
INFO  : Completed compiling command(queryId=hive_20180914174141_6359e1a1-251f-4116-b646-0aa9f55dcfa8); Time taken: 0.069 seconds
INFO  : Executing command(queryId=hive_20180914174141_6359e1a1-251f-4116-b646-0aa9f55dcfa8): grant role admin to user leili
INFO  : Starting task [Stage-0:DDL] in serial mode
INFO  : Completed executing command(queryId=hive_20180914174141_6359e1a1-251f-4116-b646-0aa9f55dcfa8); Time taken: 0.331 seconds
INFO  : OK
No rows affected (0.528 seconds)

3.5 添加Hbase权限

使用拥有操作hbase权限的kerberos账户登录hbase shell：

[root@cdh-node-3 hive]# hbase shell
Java HotSpot(TM) 64-Bit Server VM warning: Using incremental CMS is deprecated and will likely be removed in a future release
18/09/14 17:44:40 INFO Configuration.deprecation: hadoop.native.lib is deprecated. Instead, use io.native.lib.available
HBase Shell; enter 'help<RETURN>' for list of supported commands.
Type "exit<RETURN>" to leave the HBase Shell
Version 1.2.0-cdh5.11.2, rUnknown, Fri Aug 18 14:09:37 PDT 2017
  • 给kylin用户授权
base(main):001:0> grant 'kylin','RWXCA'
0 row(s) in 0.5830 seconds

切换到kylin用户重新登录hbase shell，测试一下：

hbase(main):001:0> whoami
kylin@HWINFO.COM (auth:KERBEROS)
    groups: kylin

hbase(main):002:0> create 'test', 'cf'
0 row(s) in 2.6930 seconds

=> Hbase::Table - test
hbase(main):003:0> list
TABLE
test
1 row(s) in 0.0310 seconds

3.6 执行Kylin检查

[root@cdh-node-2 bin]# ./check-env.sh
Retrieving hadoop conf dir...
KYLIN_HOME is set to /usr/local/apache-kylin-2.0.0-bin

3.7 启动kylin服务

先确认主机使用kerberos凭据为kylin，再启动：

[root@cdh-node-2 bin]# klist
Ticket cache: FILE:/tmp/krb5cc_0
Default principal: kylin@HWINFO.COM

Valid starting       Expires              Service principal
09/14/2018 17:48:28  09/15/2018 17:48:28  krbtgt/HWINFO.COM@HWINFO.COM
    renew until 09/21/2018 17:48:28
[root@cdh-node-2 bin]# ./kylin.sh start
Retrieving hadoop conf dir...
KYLIN_HOME is set to /usr/local/kylin
Retrieving hive dependency...
Retrieving hbase dependency...
Retrieving hadoop conf dir...
Retrieving kafka dependency...
Retrieving Spark dependency...
KYLIN_JVM_SETTINGS is -Xms1024M -Xmx4096M -Xss1024K -XX:MaxPermSize=128M -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCDateStamps -Xloggc:/usr/local/kylin/logs/kylin.gc.3982 -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=10 -XX:GCLogFileSize=64M

A new Kylin instance is started by root. To stop it, run 'kylin.sh stop'
Check the log at /usr/local/kylin/logs/kylin.log
Web UI is at http://<hostname>:7070/kylin

4. 使用Kylin Sample测试

Kylin本身自带了一个测试例子，创建流程如下：
执行sample.sh脚本，这个主要是创建kylin的project、model、cube以及相关的hive表等。

[root@cdh-node-2 bin]# ./sample.sh
Retrieving hadoop conf dir...
Retrieving hadoop conf dir...
KYLIN_HOME is set to /usr/local/kylin
Loading sample data into HDFS tmp path: /tmp/kylin/sample_cube/d

...

Sample cube is created successfully in project 'learn_kylin'.
Restart Kylin server or reload the metadata from web UI to see the change.

进入Kylin Web界面system - reload metadata
然后构建示例的cube，如果构建成功，并且能成功执行查询命令，则表示整个配置全部完成。

构建成功

查询成功

[1] Cloudera Configuring Authentication Doc：
https://www.cloudera.com/documentation/enterprise/5-11-x/topics/sg_authentication.html
[2] Kylin官网配置指南：
http://kylin.apache.org/cn/docs/install/configuration.html
[3] Linux下的crontab定时执行任务命令详解：
https://www.cnblogs.com/longjshz/p/5779215.html

文章标签：
数据安全中心
云数据库HBase版
SQL
Hbase
Apache
安全
大数据
关键词：
Apache配置
云原生大数据计算服务 MaxCompute配置
云原生大数据计算服务 MaxCompute安全
Apache kylin
云原生大数据计算服务 MaxCompute apache
mantoudev
目录
相关文章
郑小健
|
22天前
|
监控 大数据 Java
使用Apache Flink进行大数据实时流处理
Apache Flink是开源流处理框架，擅长低延迟、高吞吐量实时数据流处理。本文深入解析Flink的核心概念、架构（包括客户端、作业管理器、任务管理器和数据源/接收器）和事件时间、窗口、状态管理等特性。通过实战代码展示Flink在词频统计中的应用，讨论其实战挑战与优化。Flink作为大数据处理的关键组件，将持续影响实时处理领域。
郑小健
165 5
灵杰开发者
|
16天前
|
存储 分布式计算 OLAP
Apache Paimon统一大数据湖存储底座
Apache Paimon，始于Flink Table Store，发展为独立的Apache顶级项目，专注流式数据湖存储。它提供统一存储底座，支持流、批、OLAP，优化了CDC入湖、流式链路构建和极速OLAP查询。Paimon社区快速增长，集成Flink、Spark等计算引擎，阿里巴巴在内部广泛应用，旨在打造统一湖存储，打通Serverless Flink、MaxCompute等，欢迎大家扫码参与体验阿里云上的 Flink+Paimon 的流批一体服务。
灵杰开发者
13416 0
Apache Paimon统一大数据湖存储底座
郑小健
|
10天前
|
机器学习/深度学习 自然语言处理 监控
金融行业的大数据风控模型：构建安全高效的信用评估体系
金融机构借助大数据风控提升信贷效率，通过数据收集、清洗、特征工程、模型构建与评估来识别风险。关键技术涉及机器学习、深度学习、NLP和实时处理。以下是一个Python风控模型构建的简例，展示了从数据预处理到模型训练、评估的过程，并提及实时监控预警的重要性。该文旨在阐述大数据风控的核心要素和关键技术，并提供基础的代码实现概念。【6月更文挑战第23天】
郑小健
52 8
青欢
|
15天前
|
Java 应用服务中间件 Apache
安装和配置Apache Tomcat是部署Java Web应用程序的常见任务
安装和配置Apache Tomcat是部署Java Web应用程序的常见任务
青欢
41 7
花开富贵111
|
11天前
|
数据采集 分布式计算 监控
MaxCompute产品使用问题之如何配置数据质量监控
MaxCompute作为一款全面的大数据处理平台，广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践，可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集，涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
花开富贵111
19 1
weixin_836869520
|
15天前
|
SQL 存储 分布式计算
Apache Kylin 概述
Apache Kylin 概述
weixin_836869520
15 1
郑小健
|
22天前
|
分布式计算 大数据 数据处理
Apache Spark在大数据处理中的应用
Apache Spark是大数据处理的热门工具，由AMPLab开发并捐赠给Apache软件基金会。它以内存计算和优化的执行引擎著称，提供比Hadoop更快的处理速度，支持批处理、交互式查询、流处理和机器学习。Spark架构包括Driver、Master、Worker Node和Executor，核心组件有RDD、DataFrame、Dataset、Spark SQL、Spark Streaming、MLlib和GraphX。文章通过代码示例展示了Spark在批处理、交互式查询和实时数据处理中的应用，并讨论了其优势（高性能、易用性、通用性和集成性）和挑战。【6月更文挑战第11天】
郑小健
46 6
嘟嘟嘟嘟嘟嘟
|
24天前
|
分布式计算 DataWorks 关系型数据库
DataWorks操作报错合集之数据源同步时，使用脚本模式采集mysql数据到odps中，使用querySql方式采集数据，在脚本中删除了Reader中的column，但是datax还是报错OriginalConfPretreatmentUtil - 您的配置有误。如何解决
DataWorks是阿里云提供的一站式大数据开发与治理平台，支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中，可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
嘟嘟嘟嘟嘟嘟
64 3
三分钟热度的鱼
|
24天前
|
SQL 分布式计算 大数据
MaxCompute产品使用合集之如何在本地IDE（如IntelliJ IDEA）中配置MaxCompute (mc) 的任务和调试SQL
MaxCompute作为一款全面的大数据处理平台，广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践，可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集，涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
三分钟热度的鱼
90 1
时不我与爱铭
|
9天前
|
消息中间件 存储 大数据
深度分析：Apache Kafka及其在大数据处理中的应用
Apache Kafka是高吞吐、低延迟的分布式流处理平台，常用于实时数据流、日志收集和事件驱动架构。与RabbitMQ（吞吐量有限）、Pulsar（多租户支持但生态系统小）和Amazon Kinesis（托管服务，成本高）对比，Kafka在高吞吐和持久化上有优势。适用场景包括实时处理、数据集成、日志收集和消息传递。选型需考虑吞吐延迟、持久化、协议支持等因素，使用时注意资源配置、数据管理、监控及安全性。
时不我与爱铭
77 0

热门文章

最新文章

  • 1
    Amazon Redshift数据迁移到MaxCompute
  • 2
    小红书推荐大数据在阿里云上的实践
  • 3
    MaxCompute湖仓一体近实时增量处理技术架构揭秘
  • 4
    图解大数据 | 使用Spark分析新冠肺炎疫情数据@综合案例
  • 5
    jdbc_分页查询，大数据，批处理，存储过程
  • 6
    看不见≠没干 浅述你所不了解的英特尔大数据
  • 7
    “十三五”大数据产业规模将过万亿元
  • 8
    MaxCompute安全和管理
  • 9
    《大数据原理：复杂信息的准备、共享和分析》一一1.1　背景
  • 10
    万事达卡从大数据销售中寻得营收来源
  • 1
    从离线到实时：无锡锡商银行基于 Apache Doris 的数据仓库演进实践
    65319
  • 2
    Centos7 安装Apache
    59
  • 3
    在STS里使用Gradle编译Apache POI5.0.0
    21
  • 4
    数据猎手：使用Java和Apache HttpComponents库下载Facebook图像
    39
  • 5
    Apache服务器配置与优化指南
    110
  • 6
    Golang深入浅出之-Go语言中的分布式计算框架Apache Beam
    169
  • 7
    Linux _ apache服务器部署 不同域名—访问不同网站（多网站）
    75
  • 8
    查询提速11倍、资源节省70%，阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
    52873
  • 9
    Spring BeanUtils与Apache BeanUtils提供基本属性复制，适用于简单需求
    34
  • 10
    如何在win系统部署Apache服务并实现无公网ip远程访问
    46

    • 相关课程

    更多
  • 大数据知识图谱—钱大妈数据中台建设最佳实践
  • 大数据知识图谱—数据中台的智能进化—阿里巴巴十二年数据平台发展历程
  • 大数据知识图谱—一文读懂云原生一体化数仓
  • Apache Flink 入门到实战 - Flink开源社区出品
  • Apache Flink 入门

    • 相关电子书

    更多
  • Apache Flink技术进阶
  • Apache Spark: Cloud and On-Prem
  • Hybrid Cloud and Apache Spark

    • 推荐镜像

    更多
  • apache
  • packman
  • CPAN
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）