数据治理二-Atlas2.1 100%安装启动成功方法

简介: 数据治理二-Atlas2.1 100%安装启动成功方法

atlas网上资料太少了,并且千篇一律,实在没有营养。经过又两天的摸索终于把atlas成功的启动起来。接下来把启动方式详细的记录起来,如果按照下面的操作,还是启动失败,可以私信我。


一、安装环境


JDK1.8

Zookeeper(atlas自带)

Kafka(atlas自带)

Hbase(atlas自带)

Solr(atlas自带)



二、安装步骤


1、解压包

编译成功之后,会在apache-atlas-sources-2.1.0/distro/target目录生成多个tar包,找到apache-atlas-2.1.0-server.tar.gz包复制到opt目录下执行

tar -xzvf apache-atlas-2.1.0-server.tar.gz

进行解压


2、修改配置


解压完成进入apache-atlas-2.1.0目录,修改环境配置vim conf/atlas-env.sh


修改java_home和是否使用内嵌的hbase和solr

1. export JAVA_HOME=/opt/jdk1.8.0_191/
2. 
3. export MANAGE_LOCAL_HBASE=true
4. 
5. export MANAGE_LOCAL_SOLR=true


此时按照网上的直接执行bin/atlas_start.py我的环境会报异常。

Failed to obtain graph instance, retrying 3 times, error: java.lang.IllegalArgumentException: Could not instantiate imple
mentation: org.janusgraph.diskstorage.solr.Solr6Index错误
Caused by: org.apache.solr.common.SolrException: Cannot connect to cluster at localhost:2181: cluster not found/not ready


Zk节点找不到,因为zk是在HBASE启动的时候启动的,所以我们分开启动再看看有什么问题。


3、启动HBASE


进入atlas目录,执行


hbase/bin/start-hbase.sh

执行jps,看下进程

18309 HMaster

存在HMaster说明,hbase已经启动

4、启动solr

启动 solr

执行以下命令,

solr/bin/solr start -c -z 127.0.0.1:2181 -p 8983 -force


将zk的地址和端口根据实际进行修改,我直接使用的HBASE启动的ZK。也是本地的。

创建索引节点,否则启动会报错

solr/bin/solr  create -c fulltext_index -force -d conf/solr/ 
solr/bin/solr  create -c edge_index -force -d conf/solr/   
solr/bin/solr  create -c vertex_index -force -d conf/solr/


5、启动altas

执行 bin/atlas_start.py,之后会写入很多数据,时间大概要启动几分钟

完全启动之前会一致抛出ZK连不上的异常,不用管

Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect (ClientCnxn$SendThread:1102)
java.net.ConnectException: Connection refused


后续在启动的话只需要执行bin/atlas_start.py即可,不需要再单独启动hbase和solr了


6、查看进程


执行jps -lm服务启动正常


350afc5a9cf514eb4fbd086ee2cead78.png


如果存在以上三个进程,说明服务启动成功。


7、进入首页


输入http://ip:21000,输入账号密码 admin/admin 进入首页



51c52cced8df8b5140c086046e5ac848.png

三、常见错误


一、环境变量配置有问题

bin/atlas_start.py
Exception: [Errno 2] No such file or directory
Traceback (most recent call last):
  File "bin/atlas_start.py", line 163, in <module>
  File "bin/atlas_start.py", line 73, in main
  File "/opt/apache-atlas-2.1.0/bin/atlas_config.py", line 162, in expandWebApp
    jar(atlasWarPath)
  File "/opt/apache-atlas-2.1.0/bin/atlas_config.py", line 215, in jar
    process = runProcess(commandline)
  File "/opt/apache-atlas-2.1.0/bin/atlas_config.py", line 251, in runProcess
    p = subprocess.Popen(commandline, stdout=stdoutFile, stderr=stderrFile, shell=shell)
  File "/usr/lib64/python2.7/subprocess.py", line 711, in __init__
    errread, errwrite)
  File "/usr/lib64/python2.7/subprocess.py", line 1327, in _execute_child
    raise child_exception
OSError: [Errno 2] No such file or directory

解决方式:conf/atlas-env.sh 中JAVA_HOME配置的jdk位置有误

二、ZK节点没有找到

java.util.concurrent.ExecutionException: org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /hbase/hbaseid
Caused by: org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /hbase/hbaseid 


我在修改atlas配置使用外部zk的时候启动报错。可以按照上面步骤手动启动HBASE解决。

或者将hbase的配置修改为/hbase,然后重启hbase即可解决~

<property>
     <name>zookeeper.znode.parent</name>
     <value>/hbase-xxx</value>
 </property>


三、Kafka启动失败

org.apache.atlas.AtlasException: Failed to start embedded kafka


atlas.kafka.zookeeper.connect=localhost:9026  配置的zk端口重复

目录
相关文章
|
资源调度 分布式计算 数据可视化
DolpinScheduler2.0.5详细介绍与踩坑实战
大数据之DolpinScheduler2.0.5详细介绍与踩坑实战
DolpinScheduler2.0.5详细介绍与踩坑实战
|
存储 监控 算法
Flink 四大基石之 Checkpoint 使用详解
Flink 的 Checkpoint 机制通过定期插入 Barrier 将数据流切分并进行快照,确保故障时能从最近的 Checkpoint 恢复,保障数据一致性。Checkpoint 分为精确一次和至少一次两种语义,前者确保每个数据仅处理一次,后者允许重复处理但不会丢失数据。此外,Flink 提供多种重启策略,如固定延迟、失败率和无重启策略,以应对不同场景。SavePoint 是手动触发的 Checkpoint,用于作业升级和迁移。Checkpoint 执行流程包括 Barrier 注入、算子状态快照、Barrier 对齐和完成 Checkpoint。
2598 20
|
Java Maven
Maven编译报错:Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.13.0:compile 解决方案
在执行Maven项目中的`install`命令时,遇到编译插件版本不匹配的错误。具体报错为:`maven-compiler-plugin:3.13.0`要求Maven版本至少为3.6.3。解决方案是将Maven版本升级到3.6.3或降低插件版本。本文详细介绍了如何下载、解压并配置Maven 3.6.3,包括环境变量设置和IDEA中的Maven配置,确保项目顺利编译。
14898 5
Maven编译报错:Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.13.0:compile 解决方案
|
监控 关系型数据库 MySQL
数据治理平台Datavines
【10月更文挑战第20天】随着数据量的增长和数字化转型的推进,数据治理成为关键议题。Datavines是一个开源的数据治理平台,提供数据目录、概览及质量检查等功能,帮助用户全面了解和管理数据,确保数据的准确性和有效性。通过简单的部署和配置,即可快速启动使用,支持数据源配置、质量监控及作业管理等核心功能。
2862 10
|
关系型数据库 API Apache
Flink CDC:基于 Apache Flink 的流式数据集成框架
本文整理自阿里云 Flink SQL 团队研发工程师于喜千(yux)在 SECon 全球软件工程技术大会中数据集成专场沙龙的分享。
22477 11
Flink CDC:基于 Apache Flink 的流式数据集成框架
|
关系型数据库 Linux Docker
datahub元数据管理平台从安装到使用一站式指南(未完)_datahub安装
datahub元数据管理平台从安装到使用一站式指南(未完)_datahub安装
datahub元数据管理平台从安装到使用一站式指南(未完)_datahub安装
|
关系型数据库 MySQL Java
如何仅用3行代码,搞定业务敏感数据加解密?
全密态数据库或许是企业数据安全问题的金钥匙
如何仅用3行代码,搞定业务敏感数据加解密?
|
SQL 分布式计算 数据管理
聊聊Hive数据血缘——从Atlas没有列级血缘的Bug讲起
聊聊Hive数据血缘——从Atlas没有列级血缘的Bug讲起
652 0
|
SQL 数据库 HIVE
Hive【基础知识 05】常用DDL操作(数据库操作+创建表+修改表+清空删除表+其他命令)
【4月更文挑战第8天】Hive【基础知识 05】常用DDL操作(数据库操作+创建表+修改表+清空删除表+其他命令)
2108 0
|
消息中间件 SQL 存储
Atlas 2.1.0 实践(2)—— 安装Atlas
在完成Atlas编译以后,就可以进行Atlas的安装了。Atlas的安装主要是安装Atlas的Server端,也就Atlas的管理页面,并确保Atlas与Kafka Hbase Solr等组件的集成。
1349 0
Atlas 2.1.0 实践(2)—— 安装Atlas