Apache kylin 4 源码环境构建

简介: Apache kylin 4 源码环境构建

Apache kylin 4 源码环境构建

可参考官网源码构建文档,这里会将遇到的问题做一些记录(官网没有描述)。

基础环境安装

  • Java
    使用jdk8版本即可,请不要用高版本,会出现编译scala错误等问题。
  • Maven
    IDEA自带的即可
  • Spark
    编译环节没有安装也不是很要紧
  • Git
    Windows环境还是要自行安装一个Git的
  • Node
    Node环境下载官方最新稳定版即可

编译

git clone https://github.com/apache/kylin.git
mvn clean install -DskipTests

web服务器

cp -r server/src/main/webapp/WEB-INF webapp/app/WEB-INF

构建前端工程

cd webapp
npm install -g bower
bower --allow-root install

windows下执行npm命令时可能会报错:

npm : 无法加载文件 C:\xxx\nodejs\npm.ps1,因为在此系统上禁止运行脚本。

这个可以通过powershell,以“管理员身份运行”,进行设置参数解决:

set-ExecutionPolicy RemoteSigned
# 输入 y 确认

另外,bower 安装时也会遇到一些问题,主要原因是bower 没有国内的镜像源。

官方:参考如何设置Kylin的前端仓库配置Kylin前端仓库,作用并不大,因为它提供的配置私有仓库似乎也挂了。这一点可能需要自行想办法解决这个网络的限制了。

这一步如果不成功,不影响下面的步骤,但是启动后,前端页面将会无法显示。

修改配置文件

修改examples/test_case_data/sandbox/kylin.properties中的配置为:

# Need to use absolute pat
kylin.metadata.url=${KYLIN_SOURCE_DIR}/examples/test_case_data/sample_local
kylin.storage.url=${KYLIN_SOURCE_DIR}/examples/test_case_data/sample_local
kylin.env.zookeeper-is-local=true
kylin.env.hdfs-working-dir=file://$KYLIN_SOURCE_DIR/examples/test_case_data/sample_local
kylin.engine.spark-conf.spark.master=local
# Need to create `/path/to/local/dir` manually
kylin.engine.spark-conf.spark.eventLog.dir=/path/to/local/dir
kylin.engine.spark-conf.spark.sql.shuffle.partitions=1
kylin.env=LOCAL

启动服务端

按照官网的要求进行配置,要点不可以忽略:

  1. 将工作目录设置为 /server
  2. classpath设置为“kylin-server”
  3. IDEA先安装SCALA插件(插件市场搜索即可)
  4. 请勾选 “Include dependencies with ‘Provided’ scope”(2018版本以上都需要)
  5. 调节 VM options: -Dspark.local=true

DebugTomcat 运行成功后,查看 Kylin Web http://localhost:7070/kylin(用户名:ADMIN,密码:KYLIN)

目录
相关文章
|
1月前
|
SQL 分布式计算 数据处理
Uber基于Apache Hudi增量 ETL 构建大规模数据湖
Uber基于Apache Hudi增量 ETL 构建大规模数据湖
52 2
|
1月前
|
消息中间件 存储 关系型数据库
使用Apache Hudi构建下一代Lakehouse
使用Apache Hudi构建下一代Lakehouse
38 0
|
1月前
|
存储 关系型数据库 Apache
Halodoc使用Apache Hudi构建Lakehouse的关键经验
Halodoc使用Apache Hudi构建Lakehouse的关键经验
40 4
|
1月前
|
存储 分布式计算 数据管理
基于 Apache Hudi + dbt 构建开放的Lakehouse
基于 Apache Hudi + dbt 构建开放的Lakehouse
46 3
|
1月前
|
存储 SQL 分布式计算
基于Apache Hudi + MinIO 构建流式数据湖
基于Apache Hudi + MinIO 构建流式数据湖
84 1
|
10天前
|
消息中间件 存储 Java
深度探索:使用Apache Kafka构建高效Java消息队列处理系统
【4月更文挑战第17天】本文介绍了在Java环境下使用Apache Kafka进行消息队列处理的方法。Kafka是一个分布式流处理平台,采用发布/订阅模型,支持高效的消息生产和消费。文章详细讲解了Kafka的核心概念,包括主题、生产者和消费者,以及消息的存储和消费流程。此外,还展示了Java代码示例,说明如何创建生产者和消费者。最后,讨论了在高并发场景下的优化策略,如分区、消息压缩和批处理。通过理解和应用这些策略,可以构建高性能的消息系统。
|
18天前
|
Linux Apache
CentOS 7 源码安装LAMP环境源 和apache监听别的端口
CentOS 7 源码安装LAMP环境源 和apache监听别的端口
13 0
|
1月前
|
存储 缓存 负载均衡
【Apache ShenYu源码】如何实现负载均衡模块设计
整个模块为ShenYu提供了什么功能。我们可以看下上文我们提到的工厂对象。/***/核心方法很清晰,我们传入Upsteam列表,通过这个模块的负载均衡算法,负载均衡地返回其中一个对象。这也就是这个模块提供的功能。
22 1
|
1月前
|
Java API Apache
【Apache ShenYu源码】看看贡献者如何实现支持提醒通知设计
在阅读中,还发现了有个html文件忘记加了开源协议,我们提下PR修复下,又收获了一次开源贡献!!PR提交戳这。
26 1
【Apache ShenYu源码】看看贡献者如何实现支持提醒通知设计
|
1月前
|
SQL 分布式计算 NoSQL
使用Apache Hudi和Debezium构建健壮的CDC管道
使用Apache Hudi和Debezium构建健壮的CDC管道
17 0

热门文章

最新文章

推荐镜像

更多