数据资产中心Apache Atlas二次开发初体验

简介: 数据资产中心Apache Atlas二次开发初体验

1   开发环境

Java 1.8

Maven 3.6,配置采用阿里云的镜像库配置

Chrome 79以上版本

2   开发工具

IDEA Intellij 2019.3

image.png

3   开发语言与架构

数据资产中心采用前后端分离方式进行设计,后端采用Java、前端基于Backbone。前后端数据访问采用同步与异步通讯相结合的方式进行实现。

 

4   构建介质与环境

源代码:apache-atlas-2.0.0-sources.tar.gz

编译环境

image.png

 

5   构建前的准备

MVN配置

image.png

<settings xmlns="http://maven.apache.org/SETTINGS/1.1.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.1.0 http://maven.apache.org/xsd/settings-1.1.0.xsd">

<localRepository>C:\MyData\GreenSoft\apache-maven-3.6.3\MavenRepository</localRepository>

 <mirrors>

   <mirror>

     <mirrorOf>central</mirrorOf>

     <name>aliyun maven</name>

    <url>https://maven.aliyun.com/repository/central</url>

     <id>alimaven</id>

   </mirror>

   <mirror>

     <mirrorOf>central</mirrorOf>

     <name>Human Readable Name for this Mirror.</name>

    <url>http://repo1.maven.org/maven2/</url>

     <id>repo1</id>

   </mirror>

   <mirror>

     <mirrorOf>central</mirrorOf>

     <name>Human Readable Name for this Mirror.</name>

     <url>http://repo2.maven.org/maven2/</url>

     <id>repo2</id>

   </mirror>

   <mirror>

     <mirrorOf>central</mirrorOf>

     <name>Google Maven Central</name>

    <url>https://maven-central.storage.googleapis.com</url>

     <id>google-maven-central</id>

   </mirror>

 </mirrors>

 <pluginGroups>

  <pluginGroup>org.apache.maven.plugins</pluginGroup>

  <pluginGroup>org.codehaus.mojo</pluginGroup>

 </pluginGroups>

</settings>

 

apache-atlas-sources-2.0.0\pom.xml

image.png

 

apache-atlas-sources-2.0.0\distro\pom.xml

image.png

 

6   执行构建

集群模式构建

mvn clean -DskipTests package -Pdist

 

单节点模式构建

mvn clean -DskipTests package -Pdist,embedded-hbase-solr

 

构建时候可能会出现类似如下包无法下载问题,需要多试几次,运气好的时候就能过

image.png

 

7   构建输出结果

如果构建成功,输出文件会在distro

image.png

 

 

目录
相关文章
|
1月前
|
存储 缓存 分布式计算
Apache Hudi数据跳过技术加速查询高达50倍
Apache Hudi数据跳过技术加速查询高达50倍
38 2
|
1月前
|
分布式计算 测试技术 Apache
如何不加锁地将数据并发写入Apache Hudi?
如何不加锁地将数据并发写入Apache Hudi?
32 0
|
1月前
|
Apache 开发者
揭秘!Apache Hudi社区发展数据盘点
揭秘!Apache Hudi社区发展数据盘点
32 0
|
1月前
|
分布式计算 Java 数据管理
使用Apache Hudi + Amazon EMR进行变化数据捕获(CDC)
使用Apache Hudi + Amazon EMR进行变化数据捕获(CDC)
87 0
|
1月前
|
分布式计算 大数据 测试技术
查询时间降低60%!Apache Hudi数据布局黑科技了解下
查询时间降低60%!Apache Hudi数据布局黑科技了解下
22 0
|
1月前
|
分布式计算 测试技术 Apache
如何将数据更快导入Apache Hudi?
如何将数据更快导入Apache Hudi?
30 0
|
1月前
|
消息中间件 分布式计算 Kafka
硬核!Apache Hudi中自定义序列化和数据写入逻辑
硬核!Apache Hudi中自定义序列化和数据写入逻辑
33 1
|
1月前
|
存储 数据采集 Apache
众安保险 CDP 平台:借助阿里云数据库 SelectDB 版内核 Apache Doris 打破数据孤岛,人群圈选提速4倍
随着业务在金融、保险和商城领域的不断扩展,众安保险建设 CDP 平台以提供自动化营销数据支持。早期 CDP 平台依赖于 Spark + Impala + Hbase + Nebula 复杂的技术组合,这不仅导致数据分析形成数据孤岛,还带来高昂的管理及维护成本。为解决该问题,众安保险引入 Apache Doris,替换了早期复杂的技术组合,不仅降低了系统的复杂性,打破了数据孤岛,更提升了数据处理的效率。
众安保险 CDP 平台:借助阿里云数据库 SelectDB 版内核 Apache Doris 打破数据孤岛,人群圈选提速4倍
|
3月前
|
SQL 数据可视化 大数据
【开源项目推荐】Apache Superset——最优秀的开源数据可视化与数据探索平台
【开源项目推荐】Apache Superset——最优秀的开源数据可视化与数据探索平台
136 1
|
4月前
|
SQL 缓存 分布式计算
Apache Zeppelin系列教程第九篇——Zeppelin NoteBook数据缓存
Apache Zeppelin系列教程第九篇——Zeppelin NoteBook数据缓存
103 0

推荐镜像

更多