Apache Oozie -安装部署-配置文件修改 & 数据库、war 包初始化|学习笔记

本文涉及的产品
RDS AI 助手,专业版
RDS Agent(兼容OpenClaw),2核4GB
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
简介: 快速学习 Apache Oozie -安装部署-配置文件修改 & 数据库、war 包初始化

开发者学堂课程【Oozie 知识精讲与实战演练Apache Oozie- 安装部署-配置文件修改& 数据库、war 包初始化】学习笔记,与课程紧密联系,让用户快速学习知识。  

课程地址:https://developer.aliyun.com/learning/course/716/detail/12784


二.初始化 mysql 相关信息


1.上传 oozie 的解压后目录的下的 yarn.tar.gz 到 hdfs目录

bin/oozie-setup.sh sharelib create -fs hdfs://node-1:9000

locallib oozie-sharelib-4.1.0-cdh5.14.0-yarn.tar.gz

图片7.png

第一个,需要将 oozie 的一些包上传到 hdfs 指定的目录下,此命令是官方提供的,只要直接执行就可,路径需要修改,将其复制查看,里面涉及到命令换行,如果直接执行就报错,需要改路径,在 Note—1 的9000上.

命令用途:

sharelib 就是共享 oozie 所依赖的架包,架包在根目录下查看.

本质是将这些jar包解压到 hdfs 路径下。

创建路径在日志中可以查看到

图片8.png

将命令复制一遍,放入根目录(安装包解压的根目录)执行。

分享的架包路径:user/root/share/lib_20190608163746,

生成文件夹由此得出执行并不准确

图片9.png

可以打开浏览器进行查看在

user/root/share/lib_20190608163746 可以观察到含有不同模块

是 oozie 运行时依赖的架包比如与 help 相关、与 spark 相关等等都已被提供

图片10.png

2.创建 mysql 数据库

初始化数据库

mysql -uroot -p

create database oozie;

使用原生方式登录,

mysql -uroot -p 用户名,密码

注意:创建数据库 oozie,数据库名称要与之前保持一致(因为连接到数据库中进行解析)

创建完成:

图片11.png

创建完成后可以直接退出

3.初始化创建 oozie 的数据库表

不需要执行,只需按照命令做

cd /export/servers/oozie-4.1.0-cdh5.14.0

bin/oozie-setup.sh db create -run -sqlfile oozie.sql

图片12.png

在安装目录下执行此条命令去创建会直接执行 mgsql

复制执行

可以看到校验是否连接,库表是否存在等

可以查看打印信息 sql 命令已经写入打印文件中,文件在根目录下叫:oozie.sql

图片13.png

可以通过 oozie.sql 查看执行记录

图片14.png

3. 验证执行

打开 Navicat 工具连接到 node-1 上,双击 oozie 数据库,发现这些表就是 oozie工作依赖的表,如果这些表初始化不成功。后面启动就不用启动,肯定也不会成功.

图片15.png

 

三.生成 war 包


在服务本质是 JAVA 的 web 项目运行在 web 容易当中内置使用 Tomcat 运行你要做的就是。相关的依赖联通的信息打成一个 war 包,war 包的打不用执行最底层命令,只需用提供的命令执行就可以。

cd /export/servers/oozie-4.1.0-cdh5.14.0

bin/oozie-setup.sh prepare-war

图片16.png

首先还是到安装包的根目录下然后执行下面命令

bin/oozie-setup.sh prepare-war 直接复制。查看到,这里面日志已经添加了好多的架包,这些架包都会添加进来变成 war 包,war 包就可以在 tomcat 中运行。后面最后一个信息:已经准备完成,可以启动.到这里基本上已经完成。

图片17.png

四.配置 oozie 环境变量


最后是可选项叫做 oozie 的环境变量配置。如果说配置后面使用 oozie 提供也好,或者相关操作的敲全路径,配置完成之后直接不用敲全路径,直接写相对路径就可以完成。

vim /etc/profile

export O0ZIE_HOME=/export/servers/oozie-4.1.0-cdh5.14.0

export O0ZIE_URL=http://node03.hadoop.com:11000/oozie

export PATH=SPATH:SOOZIE_HOME/bin

source /etc/profile

有三个,第一个是 oozie 的 home 指向安装包根目录

第二个是 oozie url,后面符合哪个路径,就写进去,这里不要照抄,这里的地址写的是跟你的地址不一样,比如这里是-1,-1只要替换端口后面保持一致,主要就是house 的主机名.

第三,把 path 倒一下,注意修改环境变量之后需要做 profile 命令重新加载.

验证:cat/etc/profile   此时出现三个选项,完成 oozie 启动前的各种配置

图片18.png 

总结:

解压 oozie 安装包拷贝相关依赖的软件

修改 oozie-site.xml 主要是 mysqlt 相关信息 hadoopi 配置文件

初始化 mysql 创建库表

生成执行需要的 war 包

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
缓存 安全 Java
阿里云数据库 SelectDB 内核 Apache Doris 2.0.6 版本正式发布
阿里云数据库 SelectDB 内核 Apache Doris 2.0.6 版本正式发布
1351 1
|
Apache 流计算 OceanBase
手把手教你实现 OceanBase 数据到阿里云数据库 SelectDB 内核版 Apache Doris 的便捷迁移|实用指南
本文介绍了如何将数据从 OceanBase 迁移到阿里云数据库 SelectDB 内核版 Apache Doris。提供 3 种数据同步方法 1. 使用 DataX,下载 DataX 并编写配置文件,通过 OceanBaseReader 和 DorisWriter 进行数据迁移。 2. 利用 Apache Doris 的 Catalog功 能,将 OceanBase 表映射到 Doris 并插入数据。 3. 通过Flink CDC,设置 OceanBase 环境,配置 Flink 连接器,实现实时数据同步。
2329 0
手把手教你实现 OceanBase 数据到阿里云数据库 SelectDB 内核版 Apache Doris 的便捷迁移|实用指南
|
存储 SQL BI
毫秒级查询性能优化实践!基于阿里云数据库 SelectDB 版内核:Apache Doris 在极越汽车数字化运营和营销方向的解决方案
毫秒级查询性能优化实践!基于阿里云数据库 SelectDB 版内核:Apache Doris 在极越汽车数字化运营和营销方向的解决方案
2303 1
毫秒级查询性能优化实践!基于阿里云数据库 SelectDB 版内核:Apache Doris 在极越汽车数字化运营和营销方向的解决方案
|
SQL 存储 调度
从 Volcano 火山模型到 Pipeline 执行模型,阿里云数据库 SelectDB 内核 Apache Doris 执行模型的迭代
一个合适的执行模型对于提高查询效率和系统性能至关重要。本文全面剖析 Apache Doris Pipeline 执行模型的设计与改造历程,并在 2.1 版本对并发执行模式与调度模式进一步优化,解决了执行并发受限、执行及调度开销大等问题。
64034 3
从 Volcano 火山模型到 Pipeline 执行模型,阿里云数据库 SelectDB 内核 Apache Doris 执行模型的迭代
|
12月前
|
安全 Apache 数据库
【倒计时3天】NineData x Apache Doris x 阿里云联合举办数据库技术Meetup,5月24日深圳见!
5月24日,NineData联合Apache Doris与阿里云在深圳举办数据库技术Meetup。活动聚焦「数据实时分析」与「数据同步迁移」两大领域,邀请行业专家分享技术趋势、产品实践及解决方案,助力企业构建高效安全的数据管理体系。时间:14:00-17:30;地点:深圳新一代产业园2栋20楼会议室。线下名额有限(80人),速报名参与深度交流!
337 1
|
存储 SQL Apache
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
Apache Doris 是一个基于 MPP 架构的高性能实时分析数据库,以其极高的速度和易用性著称。它支持高并发点查询和复杂分析场景,适用于报表分析、即席查询、数据仓库和数据湖查询加速等。最新发布的 2.0.2 版本在性能、稳定性和多租户支持方面有显著提升。社区活跃,已广泛应用于电商、广告、用户行为分析等领域。
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
|
存储 消息中间件 人工智能
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
早期 MiniMax 基于 Grafana Loki 构建了日志系统,在资源消耗、写入性能及系统稳定性上都面临巨大的挑战。为此 MiniMax 开始寻找全新的日志系统方案,并基于阿里云数据库 SelectDB 版内核 Apache Doris 升级了日志系统,新系统已接入 MiniMax 内部所有业务线日志数据,数据规模为 PB 级, 整体可用性达到 99.9% 以上,10 亿级日志数据的检索速度可实现秒级响应。
1132 14
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
|
存储 运维 5G
基于阿里云数据库 SelectDB 内核 Apache Doris 的实时/离线一体化架构,赋能中国联通 5G 全连接工厂解决方案
数据是 5G 全连接工厂的核心要素,为支持全方位的数据收集、存储、分析等工作的高效进行,联通 5G 全连接工厂从典型的 Lambda 架构演进为 All in [Apache Doris](https://c.d4t.cn/vwDf8R) 的实时/离线一体化架构,并凭借 Doris 联邦查询能力打造统一查询网关,数据处理及查询链路大幅简化,为联通 5G 全连接工厂带来数据时效性、查询响应、存储成本、开发效率全方位的提升。
1449 4
基于阿里云数据库 SelectDB 内核 Apache Doris 的实时/离线一体化架构,赋能中国联通 5G 全连接工厂解决方案
|
安全 数据库 数据安全/隐私保护
数据库 变更和版本控制管理工具 --Bytebase 安装部署
数据库 变更和版本控制管理工具 --Bytebase 安装部署
1355 0
|
存储 监控 Apache
查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
网易的灵犀办公和云信利用 Apache Doris 改进了大规模日志和时序数据处理,取代了 Elasticsearch 和 InfluxDB。Doris 实现了更低的服务器资源消耗和更高的查询性能,相比 Elasticsearch,查询速度提升至少 11 倍,存储资源节省达 70%。Doris 的列式存储、高压缩比和倒排索引等功能,优化了日志和时序数据的存储与分析,降低了存储成本并提高了查询效率。在灵犀办公和云信的实际应用中,Doris 显示出显著的性能优势,成功应对了数据增长带来的挑战。
54014 2
查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践

推荐镜像

更多