Apache kylin 4 源码环境构建

简介: Apache kylin 4 源码环境构建

Apache kylin 4 源码环境构建

可参考官网源码构建文档,这里会将遇到的问题做一些记录(官网没有描述)。

基础环境安装

  • Java
    使用jdk8版本即可,请不要用高版本,会出现编译scala错误等问题。
  • Maven
    IDEA自带的即可
  • Spark
    编译环节没有安装也不是很要紧
  • Git
    Windows环境还是要自行安装一个Git的
  • Node
    Node环境下载官方最新稳定版即可

编译

git clone https://github.com/apache/kylin.git
mvn clean install -DskipTests

web服务器

cp -r server/src/main/webapp/WEB-INF webapp/app/WEB-INF

构建前端工程

cd webapp
npm install -g bower
bower --allow-root install

windows下执行npm命令时可能会报错:

npm : 无法加载文件 C:\xxx\nodejs\npm.ps1,因为在此系统上禁止运行脚本。

这个可以通过powershell,以“管理员身份运行”,进行设置参数解决:

set-ExecutionPolicy RemoteSigned
# 输入 y 确认

另外,bower 安装时也会遇到一些问题,主要原因是bower 没有国内的镜像源。

官方:参考如何设置Kylin的前端仓库配置Kylin前端仓库,作用并不大,因为它提供的配置私有仓库似乎也挂了。这一点可能需要自行想办法解决这个网络的限制了。

这一步如果不成功,不影响下面的步骤,但是启动后,前端页面将会无法显示。

修改配置文件

修改examples/test_case_data/sandbox/kylin.properties中的配置为:

# Need to use absolute pat
kylin.metadata.url=${KYLIN_SOURCE_DIR}/examples/test_case_data/sample_local
kylin.storage.url=${KYLIN_SOURCE_DIR}/examples/test_case_data/sample_local
kylin.env.zookeeper-is-local=true
kylin.env.hdfs-working-dir=file://$KYLIN_SOURCE_DIR/examples/test_case_data/sample_local
kylin.engine.spark-conf.spark.master=local
# Need to create `/path/to/local/dir` manually
kylin.engine.spark-conf.spark.eventLog.dir=/path/to/local/dir
kylin.engine.spark-conf.spark.sql.shuffle.partitions=1
kylin.env=LOCAL

启动服务端

按照官网的要求进行配置,要点不可以忽略:

  1. 将工作目录设置为 /server
  2. classpath设置为“kylin-server”
  3. IDEA先安装SCALA插件(插件市场搜索即可)
  4. 请勾选 “Include dependencies with ‘Provided’ scope”(2018版本以上都需要)
  5. 调节 VM options: -Dspark.local=true

DebugTomcat 运行成功后,查看 Kylin Web http://localhost:7070/kylin(用户名:ADMIN,密码:KYLIN)

目录
相关文章
|
19天前
|
消息中间件 数据挖掘 Kafka
Apache Kafka流处理实战:构建实时数据分析应用
【10月更文挑战第24天】在当今这个数据爆炸的时代,能够快速准确地处理实时数据变得尤为重要。无论是金融交易监控、网络行为分析还是物联网设备的数据收集,实时数据处理技术都是不可或缺的一部分。Apache Kafka作为一款高性能的消息队列系统,不仅支持传统的消息传递模式,还提供了强大的流处理能力,能够帮助开发者构建高效、可扩展的实时数据分析应用。
64 5
|
19天前
|
消息中间件 存储 监控
构建高可用性Apache Kafka集群:从理论到实践
【10月更文挑战第24天】随着大数据时代的到来,数据传输与处理的需求日益增长。Apache Kafka作为一个高性能的消息队列服务,因其出色的吞吐量、可扩展性和容错能力而受到广泛欢迎。然而,在构建大规模生产环境下的Kafka集群时,保证其高可用性是至关重要的。本文将从个人实践经验出发,详细介绍如何构建一个高可用性的Kafka集群,包括集群规划、节点配置以及故障恢复机制等方面。
53 4
|
1月前
|
消息中间件 分布式计算 大数据
大数据-166 Apache Kylin Cube 流式构建 整体流程详细记录
大数据-166 Apache Kylin Cube 流式构建 整体流程详细记录
63 5
|
1月前
|
存储 SQL 分布式计算
大数据-162 Apache Kylin 全量增量Cube的构建 Segment 超详细记录 多图
大数据-162 Apache Kylin 全量增量Cube的构建 Segment 超详细记录 多图
57 3
|
18天前
|
存储 数据挖掘 数据处理
巴别时代使用 Apache Paimon 构建 Streaming Lakehouse 的实践
随着数据湖技术的发展,企业纷纷探索其优化潜力。本文分享了巴别时代使用 Apache Paimon 构建 Streaming Lakehouse 的实践。Paimon 支持流式和批处理,提供高性能、统一的数据访问和流批一体的优势。通过示例代码和实践经验,展示了如何高效处理实时数据,解决了数据一致性和故障恢复等挑战。
99 61
|
1月前
|
Java 大数据 数据库连接
大数据-163 Apache Kylin 全量增量Cube的构建 手动触发合并 JDBC 操作 Scala
大数据-163 Apache Kylin 全量增量Cube的构建 手动触发合并 JDBC 操作 Scala
29 2
大数据-163 Apache Kylin 全量增量Cube的构建 手动触发合并 JDBC 操作 Scala
|
1月前
|
SQL 分布式计算 NoSQL
大数据-164 Apache Kylin Cube优化 案例1 定义衍生维度与对比 超详细
大数据-164 Apache Kylin Cube优化 案例1 定义衍生维度与对比 超详细
28 1
大数据-164 Apache Kylin Cube优化 案例1 定义衍生维度与对比 超详细
|
1月前
|
存储 大数据 分布式数据库
大数据-165 Apache Kylin Cube优化 案例 2 定义衍生维度及对比 & 聚合组 & RowKeys
大数据-165 Apache Kylin Cube优化 案例 2 定义衍生维度及对比 & 聚合组 & RowKeys
33 1
|
1月前
|
SQL 存储 监控
大数据-161 Apache Kylin 构建Cube 按照日期、区域、产品、渠道 与 Cube 优化
大数据-161 Apache Kylin 构建Cube 按照日期、区域、产品、渠道 与 Cube 优化
49 0
|
Java 应用服务中间件 Shell

推荐镜像

更多