数据治理一-Atlas2.1编译踩坑之路

简介: 数据治理一-Atlas2.1编译踩坑之路

坑爹的东西,花了我2天时间才成功编译!主要一个问题卡的太久 - 。 -。把我的踩坑过程记录一下,希望可以帮助大家,有其他问题可以在评论区留言,我会一一解答。


一、编译环境


contOS7

JDK8

Maven 3.6

部署包:2.1.0  https://atlas.apache.org/#/Downloads

mvn仓库地址:http://maven.aliyun.com/nexus/content/groups/public

编译环境不一样,问题肯能不一样。


二、安装atlas


1、下载好包,移到/opt目录下执行tar-xzvf进行解压,目录如下

20210110131304535.png

2、进入apache-atlas-sources-2.1.0目录,然后执行

mvn clean -DskipTests package -Pdist,embedded-hbase-solr(自带hbase和solr)


如果出现node-saas安装目录没有权限,则执行(此处我踩了2天坑,( Ĭ ^ Ĭ ))

sudo mvn clean -DskipTests package -Pdist,embedded-hbase-solr

注意:root的环境变量和sudo的环境变量不一定一样的。我就是root状态下执行命令结果安装node-saas的时候提示没权限。sudo 执行之后编译环境版本存在问题。


如果sudo执行命令出现编译错误,sudo mvn -v 查看环境信息是否一致。如果不一致,则需要将sudo下的环境变量改为和root一致。具体修改方法如下

  1. 执行 sudo visudo
  2. 将Defaults env_reset改为Defaults !env_reset 取消掉对PATH变量的重置
  3. 修改~/.bashrc中环境变量 ,最后添加alias sudo='sudo env PATH=$PATH'


这样sudo执行命令时所搜寻的路径就是系统的PATH变量中的路径,如想添加其他变量也是类似

安装完成之后:会查看到所有jar都显示SUCCESS


三、安装过程问题解决


1、安装node-saas失败


202101101313464.png


gyp verb command install [ '6.17.1' ]
gyp ERR! UNCAUGHT EXCEPTION
gyp ERR! stack /mnt/hswx/apache-atlas-sources-2.1.0/node_modules/_mkdirp@1.0.4@mkdirp/lib/opts-arg.js:7
gyp ERR! stack     opts = { mode: 0o777, fs, ...opts }
gyp ERR! stack                               ^^^
gyp ERR! stack
gyp ERR! stack SyntaxError: Unexpected token ...
gyp ERR! stack     at createScript (vm.js:56:10)
gyp ERR! stack     at Object.runInThisContext (vm.js:97:10)
gyp ERR! stack     at Module._compile (module.js:549:28)
gyp ERR! stack     at Object.Module._extensions..js (module.js:586:10)
gyp ERR! stack     at Module.load (module.js:494:32)
gyp ERR! stack     at tryModuleLoad (module.js:453:12)
gyp ERR! stack     at Function.Module._load (module.js:445:3)
gyp ERR! stack     at Module.require (module.js:504:17)
gyp ERR! stack     at require (internal/module.js:20:19)
gyp ERR! stack     at Object.<anonymous> (/mnt/hswx/apache-atlas-sources-2.1.0/node_modules/_mkdirp@1.0.4@mkdirp/index.js:1:79)
gyp ERR! System Linux 3.10.0-1127.19.1.el7.x86_64
gyp ERR! command "/usr/bin/node" "/mnt/hswx/apache-atlas-sources-2.1.0/node_modules/_node-gyp@7.1.2@node-gyp/bin/node-gyp.js" "rebuild" "--verbose" "--libsass_ext=" "--libsass_cflags=" "--libsass_ldflags=" "--libsass_library="
gyp ERR! cwd /mnt/hswx/apache-atlas-sources-2.1.0/node_modules/_node-sass@5.0.0@node-sass
gyp ERR! node -v v6.17.1
gyp ERR! node-gyp -v v7.1.2
gyp ERR! Node-gyp failed to build your package.
gyp ERR! Try to update npm and/or node-gyp and if it does not help file an issue with the package author.
Build failed with error code: 7
[npminstall:runscript:error] node-sass@* scripts.postinstall run "node scripts/build.js" error: RunScriptError: Run "sh -c node scripts/build.js" error, exit code 1
? Install fail! RunScriptError: post install error, please remove node_modules before retry!
Run "sh -c node scripts/build.js" error, exit code 1
RunScriptError: post install error, please remove node_modules before retry!
Run "sh -c node scripts/build.js" error, exit code 1
    at ChildProcess.proc.on.code (/usr/lib/node_modules/cnpm/node_modules/runscript/index.js:96:21)
    at emitTwo (events.js:106:13)
    at ChildProcess.emit (events.js:191:7)
    at maybeClose (internal/child_process.js:920:16)
    at Process.ChildProcess._handle.onexit (internal/child_process.js:230:5)
npminstall version: 3.28.0
npminstall args: /usr/bin/node /usr/lib/node_modules/cnpm/node_modules/npminstall/bin/install.js --fix-bug-versions --china --userconfig=/root/.cnpmrc --disturl=https://npm.taobao.org/mirrors/node --registry=https://r.npm.taobao.org node-sass --save-dev


此问题困扰了我好多天,单独编译不行,该npm源也不行。就是很纳闷root账号执行创建居然没有权限。所以最后只好采用sudo 方式执行命令。

使用该命令:

sudo mvn clean -DskipTests package -Pdist,embedded-hbase-solr


使用sudo会出现和root编译环境不一致问题,按照我上面说的,sudo和root使用一套环境变量的修改方法即可。


2、Sqoop.Jar无法下载


20210110131327127.png

[ERROR] Failed to execute goal on project
sqoop-bridge-shim: Could not resolve dependencies for project
org.apache.atlas:sqoop-bridge-shim:jar:2.1.0: Could not find artifact
org.apache.sqoop:sqoop:jar:1.4.6.2.3.99.0-195 in nexus-aliyun
(http://maven.aliyun.com/nexus/content/groups/public) -> [Help 1]
[ERROR]
[ERROR] To see the full stack trace of the
errors, re-run Maven with the -e switch.

atlas编译用的sqoop.jar比较扯淡,1.4.6.2.3.99.0-195这个版本不太好找。我是用的是阿里的仓库http://maven.aliyun.com/nexus/content/groups/public下载,阿里仓库不存在该jar包。


可以手动下载该jar包


下载地址:Index of /repositories/releases/org/apache/sqoop/sqoop/1.4.6.2.3.99.0-195


执行下面命令安装到本地仓库

mvn install:install-file -Dfile=sqoop-1.4.6.2.3.99.0-195.jar -DgroupId=org.apache.sqoop -DartifactId=sqoop -Dversion=1.4.6.2.3.99.0-195 -Dpackaging=jar



之后在执行编译命令即可。

相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
&nbsp; 相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情:&nbsp;https://cn.aliyun.com/product/hbase &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
6月前
|
移动开发 前端开发 Android开发
mPaaS 常见问题之移动开发平台 mpaas的H5 前端 Kylin 框架引入vant后包特别大如何解决
mPaaS(移动平台即服务,Mobile Platform as a Service)是阿里巴巴集团提供的一套移动开发解决方案,它包含了一系列移动开发、测试、监控和运营的工具和服务。以下是mPaaS常见问题的汇总,旨在帮助开发者和企业用户解决在使用mPaaS产品过程中遇到的各种挑战
242 0
|
5月前
|
Java Serverless 应用服务中间件
Serverless 应用引擎操作报错合集之部署python项目时,构建过程报错,怎么解决
Serverless 应用引擎(SAE)是阿里云提供的Serverless PaaS平台,支持Spring Cloud、Dubbo、HSF等主流微服务框架,简化应用的部署、运维和弹性伸缩。在使用SAE过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
3月前
|
运维 前端开发 Serverless
Serverless痛点解决问题之将 WordPress 工程部署到函数计算中如何解决
Serverless痛点解决问题之将 WordPress 工程部署到函数计算中如何解决
45 1
|
3月前
|
IDE 前端开发 数据库
OpenSumi开源问题之OpenSumi的定义如何解决
OpenSumi开源问题之OpenSumi的定义如何解决
|
3月前
|
数据可视化 Linux Android开发
Flutter相关痛点解决问题之研发链路中的环境配置和打包集成问题如何解决
Flutter相关痛点解决问题之研发链路中的环境配置和打包集成问题如何解决
|
3月前
|
SQL 存储 数据管理
掌握SQL Server Integration Services (SSIS)精髓:从零开始构建自动化数据提取、转换与加载(ETL)流程,实现高效数据迁移与集成——轻松上手SSIS打造企业级数据管理利器
【8月更文挑战第31天】SQL Server Integration Services (SSIS) 是 Microsoft 提供的企业级数据集成平台,用于高效完成数据提取、转换和加载(ETL)任务。本文通过简单示例介绍 SSIS 的基本使用方法,包括创建数据包、配置数据源与目标以及自动化执行流程。首先确保安装了 SQL Server Data Tools (SSDT),然后在 Visual Studio 中创建新的 SSIS 项目,通过添加控制流和数据流组件,实现从 CSV 文件到 SQL Server 数据库的数据迁移。
171 0
|
3月前
|
机器学习/深度学习 监控 Serverless
Serverless 应用的监控与调试问题之Flink在内部使用的未来规划,以及接下来有什么打算贡献社区的创新技术
Serverless 应用的监控与调试问题之Flink在内部使用的未来规划,以及接下来有什么打算贡献社区的创新技术
|
4月前
|
JSON Go C++
开发与运维C++问题之在iLogtail新架构中在C++主程序中新增插件的概念如何解决
开发与运维C++问题之在iLogtail新架构中在C++主程序中新增插件的概念如何解决
45 1
|
6月前
|
存储 供应链 安全
《数据治理简易速速上手小册》第8章 数据生命周期管理(2024 最新版)
《数据治理简易速速上手小册》第8章 数据生命周期管理(2024 最新版)
113 1
|
6月前
|
数据采集 监控 数据管理
《数据治理简易速速上手小册》第2章 数据治理框架的建立(2024 最新版)
《数据治理简易速速上手小册》第2章 数据治理框架的建立(2024 最新版)
141 0