数据治理二-Atlas2.1 100%安装启动成功方法

本文涉及的产品
任务调度 XXL-JOB 版免费试用,400 元额度,开发版规格
云原生网关 MSE Higress,422元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 数据治理二-Atlas2.1 100%安装启动成功方法

atlas网上资料太少了,并且千篇一律,实在没有营养。经过又两天的摸索终于把atlas成功的启动起来。接下来把启动方式详细的记录起来,如果按照下面的操作,还是启动失败,可以私信我。


一、安装环境


JDK1.8

Zookeeper(atlas自带)

Kafka(atlas自带)

Hbase(atlas自带)

Solr(atlas自带)



二、安装步骤


1、解压包

编译成功之后,会在apache-atlas-sources-2.1.0/distro/target目录生成多个tar包,找到apache-atlas-2.1.0-server.tar.gz包复制到opt目录下执行

tar -xzvf apache-atlas-2.1.0-server.tar.gz

进行解压


2、修改配置


解压完成进入apache-atlas-2.1.0目录,修改环境配置vim conf/atlas-env.sh


修改java_home和是否使用内嵌的hbase和solr

1. export JAVA_HOME=/opt/jdk1.8.0_191/
2. 
3. export MANAGE_LOCAL_HBASE=true
4. 
5. export MANAGE_LOCAL_SOLR=true


此时按照网上的直接执行bin/atlas_start.py我的环境会报异常。

Failed to obtain graph instance, retrying 3 times, error: java.lang.IllegalArgumentException: Could not instantiate imple
mentation: org.janusgraph.diskstorage.solr.Solr6Index错误
Caused by: org.apache.solr.common.SolrException: Cannot connect to cluster at localhost:2181: cluster not found/not ready


Zk节点找不到,因为zk是在HBASE启动的时候启动的,所以我们分开启动再看看有什么问题。


3、启动HBASE


进入atlas目录,执行


hbase/bin/start-hbase.sh

执行jps,看下进程

18309 HMaster

存在HMaster说明,hbase已经启动

4、启动solr

启动 solr

执行以下命令,

solr/bin/solr start -c -z 127.0.0.1:2181 -p 8983 -force


将zk的地址和端口根据实际进行修改,我直接使用的HBASE启动的ZK。也是本地的。

创建索引节点,否则启动会报错

solr/bin/solr  create -c fulltext_index -force -d conf/solr/ 
solr/bin/solr  create -c edge_index -force -d conf/solr/   
solr/bin/solr  create -c vertex_index -force -d conf/solr/


5、启动altas

执行 bin/atlas_start.py,之后会写入很多数据,时间大概要启动几分钟

完全启动之前会一致抛出ZK连不上的异常,不用管

Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect (ClientCnxn$SendThread:1102)
java.net.ConnectException: Connection refused


后续在启动的话只需要执行bin/atlas_start.py即可,不需要再单独启动hbase和solr了


6、查看进程


执行jps -lm服务启动正常


350afc5a9cf514eb4fbd086ee2cead78.png


如果存在以上三个进程,说明服务启动成功。


7、进入首页


输入http://ip:21000,输入账号密码 admin/admin 进入首页



51c52cced8df8b5140c086046e5ac848.png

三、常见错误


一、环境变量配置有问题

bin/atlas_start.py
Exception: [Errno 2] No such file or directory
Traceback (most recent call last):
  File "bin/atlas_start.py", line 163, in <module>
  File "bin/atlas_start.py", line 73, in main
  File "/opt/apache-atlas-2.1.0/bin/atlas_config.py", line 162, in expandWebApp
    jar(atlasWarPath)
  File "/opt/apache-atlas-2.1.0/bin/atlas_config.py", line 215, in jar
    process = runProcess(commandline)
  File "/opt/apache-atlas-2.1.0/bin/atlas_config.py", line 251, in runProcess
    p = subprocess.Popen(commandline, stdout=stdoutFile, stderr=stderrFile, shell=shell)
  File "/usr/lib64/python2.7/subprocess.py", line 711, in __init__
    errread, errwrite)
  File "/usr/lib64/python2.7/subprocess.py", line 1327, in _execute_child
    raise child_exception
OSError: [Errno 2] No such file or directory

解决方式:conf/atlas-env.sh 中JAVA_HOME配置的jdk位置有误

二、ZK节点没有找到

java.util.concurrent.ExecutionException: org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /hbase/hbaseid
Caused by: org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /hbase/hbaseid 


我在修改atlas配置使用外部zk的时候启动报错。可以按照上面步骤手动启动HBASE解决。

或者将hbase的配置修改为/hbase,然后重启hbase即可解决~

<property>
     <name>zookeeper.znode.parent</name>
     <value>/hbase-xxx</value>
 </property>


三、Kafka启动失败

org.apache.atlas.AtlasException: Failed to start embedded kafka


atlas.kafka.zookeeper.connect=localhost:9026  配置的zk端口重复

目录
打赏
0
0
0
0
6
分享
相关文章
【YashanDB 知识库】YCP 单机部署离线升级 -rpc 升级方式详细步骤
在进行 YCM 系统升级时,需确保每个被纳管的主机开放 9072 端口。具体步骤如下: 1. **备份操作**:使用默认路径 `/opt/ycm` 下的 `backup.sh` 脚本备份当前系统,确保数据库和其他关键文件安全。 2. **解压安装包**:将新版本的安装包解压到指定目录。 3. **生成配置文件**:通过 `yasadm host gen` 命令生成新的配置文件 `ycm_host.toml`,并指定相关参数。 4. **执行升级**:运行 `yasadm upgrade` 命令开始升级过程,确认升级信息并执行升级操作。
大数据生态圈常用组件(一):数据库、查询引擎、ETL工具、调度工具等
大数据生态圈常用组件(一):数据库、查询引擎、ETL工具、调度工具等
【YashanDB 知识库】YCP 高可用部署离线升级 -rpc 升级详细步骤
本文介绍了从版本 23.2.4.100 升级到 23.2.11.100 的详细步骤。首先,在主节点和两个备节点上执行备份操作,确保数据安全。备份命令包括数据库和配置文件的备份。接着,解压新版本安装包,并生成托管服务器的配置文件。然后,在主节点上执行升级命令,通过指定安装路径、配置文件和其他参数完成升级。升级过程中会停止相关进程,备份现有文件,安装新版本并更新配置。最后,在两个备节点上分别执行类似的升级操作。整个过程确保了系统的稳定性和数据的安全性。升级完成后,可以通过查看 `/opt/ycm/ycm/etc/upgrade/version.toml` 文件确认版本已成功
初体验:数据库监控、管理和可观测性工具(PMM)
Percona Monitoring and Management (PMM) 是一个开源工具,用于监控MySQL、PostgreSQL和MongoDB的性能。它提供实时监控、数据可视化、故障排除和管理功能,支持本地和云端数据库。要安装PMM,首先需安装Docker,然后通过提供的脚本部署PMM服务器和客户端。在MySQL服务器上创建PMM用户后,使用`pmm-admin`命令添加数据库。访问PMM的HTTPS网址(默认用户名和密码为admin)进行配置。本文还包含了安装Docker和PMM的命令行步骤。
初体验:数据库监控、管理和可观测性工具(PMM)
|
5月前
|
TDengine 3.3.3.0 版本上线:优化监控、增强 MongoDB 支持
今天我们非常高兴地宣布,TDengine 3.3.3.0 版本正式发布。本次更新引入了多项重要功能和性能优化,旨在为用户提供更高效、更灵活的数据解决方案。
97 0
Questflow借助MongoDB Atlas以AI重新定义未来工作方式
Questflow借助MongoDB赋能AI员工,助力中小型初创企业自动化工作流程,简化数据分析,提升客户体验,推动AI与员工的协作,重新定义未来工作方式
5521 2
MongoDB推出高级数据管理功能,实现随处可运行应用程序
借助MongoDB Atlas for the Edge,企业不仅可以安全地存储数据,还可以跨越不同数据源和目的地实时同步数据,从而提供具有高可用性、高弹性和高可靠性的应用程序
Zabbix【部署 01】Zabbix企业级分布式监控系统部署配置使用实例(在线安装及问题处理)程序安装+数据库初始+前端配置+服务启动+Web登录
Zabbix【部署 01】Zabbix企业级分布式监控系统部署配置使用实例(在线安装及问题处理)程序安装+数据库初始+前端配置+服务启动+Web登录
842 0
MongoDB推出五项MongoDB Atlas新功能,帮助企业使用单一开发者数据平台构建新应用程序类别
Beamable、Pureinsights、Anywhere Real Estate及Hootsuite等客户和合作伙伴,正使用MongoDB Atlas新功能构建下一代应用程序
MongoDB推出五项MongoDB Atlas新功能,帮助企业使用单一开发者数据平台构建新应用程序类别