Apache Oozie -安装部署-配置文件修改 & 数据库、war 包初始化|学习笔记

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
云数据库 RDS PostgreSQL,高可用系列 2核4GB
简介: 快速学习 Apache Oozie -安装部署-配置文件修改 & 数据库、war 包初始化

开发者学堂课程【Oozie 知识精讲与实战演练Apache Oozie- 安装部署-配置文件修改& 数据库、war 包初始化】学习笔记,与课程紧密联系,让用户快速学习知识。  

课程地址:https://developer.aliyun.com/learning/course/716/detail/12784


二.初始化 mysql 相关信息


1.上传 oozie 的解压后目录的下的 yarn.tar.gz 到 hdfs目录

bin/oozie-setup.sh sharelib create -fs hdfs://node-1:9000

locallib oozie-sharelib-4.1.0-cdh5.14.0-yarn.tar.gz

图片7.png

第一个,需要将 oozie 的一些包上传到 hdfs 指定的目录下,此命令是官方提供的,只要直接执行就可,路径需要修改,将其复制查看,里面涉及到命令换行,如果直接执行就报错,需要改路径,在 Note—1 的9000上.

命令用途:

sharelib 就是共享 oozie 所依赖的架包,架包在根目录下查看.

本质是将这些jar包解压到 hdfs 路径下。

创建路径在日志中可以查看到

图片8.png

将命令复制一遍,放入根目录(安装包解压的根目录)执行。

分享的架包路径:user/root/share/lib_20190608163746,

生成文件夹由此得出执行并不准确

图片9.png

可以打开浏览器进行查看在

user/root/share/lib_20190608163746 可以观察到含有不同模块

是 oozie 运行时依赖的架包比如与 help 相关、与 spark 相关等等都已被提供

图片10.png

2.创建 mysql 数据库

初始化数据库

mysql -uroot -p

create database oozie;

使用原生方式登录,

mysql -uroot -p 用户名,密码

注意:创建数据库 oozie,数据库名称要与之前保持一致(因为连接到数据库中进行解析)

创建完成:

图片11.png

创建完成后可以直接退出

3.初始化创建 oozie 的数据库表

不需要执行,只需按照命令做

cd /export/servers/oozie-4.1.0-cdh5.14.0

bin/oozie-setup.sh db create -run -sqlfile oozie.sql

图片12.png

在安装目录下执行此条命令去创建会直接执行 mgsql

复制执行

可以看到校验是否连接,库表是否存在等

可以查看打印信息 sql 命令已经写入打印文件中,文件在根目录下叫:oozie.sql

图片13.png

可以通过 oozie.sql 查看执行记录

图片14.png

3. 验证执行

打开 Navicat 工具连接到 node-1 上,双击 oozie 数据库,发现这些表就是 oozie工作依赖的表,如果这些表初始化不成功。后面启动就不用启动,肯定也不会成功.

图片15.png

 

三.生成 war 包


在服务本质是 JAVA 的 web 项目运行在 web 容易当中内置使用 Tomcat 运行你要做的就是。相关的依赖联通的信息打成一个 war 包,war 包的打不用执行最底层命令,只需用提供的命令执行就可以。

cd /export/servers/oozie-4.1.0-cdh5.14.0

bin/oozie-setup.sh prepare-war

图片16.png

首先还是到安装包的根目录下然后执行下面命令

bin/oozie-setup.sh prepare-war 直接复制。查看到,这里面日志已经添加了好多的架包,这些架包都会添加进来变成 war 包,war 包就可以在 tomcat 中运行。后面最后一个信息:已经准备完成,可以启动.到这里基本上已经完成。

图片17.png

四.配置 oozie 环境变量


最后是可选项叫做 oozie 的环境变量配置。如果说配置后面使用 oozie 提供也好,或者相关操作的敲全路径,配置完成之后直接不用敲全路径,直接写相对路径就可以完成。

vim /etc/profile

export O0ZIE_HOME=/export/servers/oozie-4.1.0-cdh5.14.0

export O0ZIE_URL=http://node03.hadoop.com:11000/oozie

export PATH=SPATH:SOOZIE_HOME/bin

source /etc/profile

有三个,第一个是 oozie 的 home 指向安装包根目录

第二个是 oozie url,后面符合哪个路径,就写进去,这里不要照抄,这里的地址写的是跟你的地址不一样,比如这里是-1,-1只要替换端口后面保持一致,主要就是house 的主机名.

第三,把 path 倒一下,注意修改环境变量之后需要做 profile 命令重新加载.

验证:cat/etc/profile   此时出现三个选项,完成 oozie 启动前的各种配置

图片18.png 

总结:

解压 oozie 安装包拷贝相关依赖的软件

修改 oozie-site.xml 主要是 mysqlt 相关信息 hadoopi 配置文件

初始化 mysql 创建库表

生成执行需要的 war 包

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
3月前
|
存储 关系型数据库 数据库
附部署代码|云数据库RDS 全托管 Supabase服务:小白轻松搞定开发AI应用
本文通过一个 Agentic RAG 应用的完整构建流程,展示了如何借助 RDS Supabase 快速搭建具备知识处理与智能决策能力的 AI 应用,展示从数据准备到应用部署的全流程,相较于传统开发模式效率大幅提升。
附部署代码|云数据库RDS 全托管 Supabase服务:小白轻松搞定开发AI应用
|
3月前
|
数据可视化 BI API
无缝对接云数据库:自定义报表生成工具在混合云环境下的部署指南
自定义报表生成工具通过拖拽设计、多数据源整合及自动化输出,帮助业务人员零代码创建个性化报表,解决传统工具灵活性不足、技术门槛高的问题。文章对比其与传统报表差异,列举行业应用场景(如财务、零售),并给出选型建议与主流工具(如FineReport、Power BI、板栗看板)的优劣势分析。
142 0
|
7月前
|
SQL 关系型数据库 数据库
【YashanDB知识库】OM仲裁节点故障后手工切换方案和yasom仲裁重新部署后重新纳管数据库集群方案
本文介绍了主备数据库集群的部署、OM仲裁故障切换及重新纳管的全过程。首先通过解压软件包并调整安装参数完成数据库集群部署,接着说明了在OM仲裁故障时的手动切换方案,包括关闭自动切换开关、登录备节点执行切换命令。最后详细描述了搭建新的yasom仲裁节点以重新纳管数据库集群的步骤,如生成配置文件、初始化进程、执行托管命令等,确保新旧系统无缝衔接,保障数据服务稳定性。
|
7月前
|
数据库
【YashanDB知识库】数据库一主一备部署及一主两备部署时,主备手动切换方法及自动切换配置
【YashanDB知识库】数据库一主一备部署及一主两备部署时,主备手动切换方法及自动切换配置
【YashanDB知识库】数据库一主一备部署及一主两备部署时,主备手动切换方法及自动切换配置
|
5月前
|
关系型数据库 MySQL 数据库
【赵渝强老师】数据库不适合Docker容器化部署的原因
本文介绍了在Docker中部署MySQL数据库并实现数据持久化的方法,同时分析了数据库不适合容器化的原因。通过具体步骤演示如何拉取镜像、创建持久化目录及启动容器,确保数据安全存储。然而,由于数据安全性、硬件资源争用、网络带宽限制及额外隔离层等问题,数据库服务并不完全适合Docker容器化部署。文中还提到数据库一旦部署通常无需频繁升级,与Docker易于重构和重新部署的特点不符。
327 18
【赵渝强老师】数据库不适合Docker容器化部署的原因
|
7月前
|
SQL 关系型数据库 网络安全
Navicat Premium 17 最新版下载与配置:5分钟完成企业级数据库工具部署
Navicat Premium 17 是一款支持多种主流数据库(如 MySQL、Oracle、PostgreSQL 等)的多数据库管理工具,提供可视化数据建模、SQL 编辑和数据同步等功能。试用版提供 14 天全功能体验,商业版支持跨平台使用。安装环境要求 Windows 10/11 或 macOS 12.0+,最低配置为 4GB 内存。下载并解压安装包后,按步骤启动安装程序、接受许可协议、自定义安装路径并完成安装。首次运行时需激活许可证并配置数据库连接。常见问题包括无法写入注册表、试用期续费及连接数据库权限问题。高级功能涵盖 SSH 通道加速、自动化任务调度和性能调优建议。
1916 19
|
8月前
|
中间件 关系型数据库 数据库
docker快速部署OS web中间件 数据库 编程应用
通过Docker,可以轻松地部署操作系统、Web中间件、数据库和编程应用。本文详细介绍了使用Docker部署这些组件的基本步骤和命令,展示了如何通过Docker Compose编排多容器应用。希望本文能帮助开发者更高效地使用Docker进行应用部署和管理。
225 19
|
8月前
|
数据库
【YashanDB 知识库】数据库一主一备部署及一主两备部署时,主备手动切换方法及自动切换配置
**数据库主备切换简介** 在数据库正常或异常情况下,实现主备切换至关重要。若配置不当,主节点故障将影响业务使用,尤其在23.2版本中。原因包括资源紧张或主节点异常。解决方法涵盖手动和自动切换: 1. **一主一备部署**: - **手动切换**:支持Switchover(同步正常时)和Failover(主库损坏时)。 - **自动切换**:启用yasom仲裁选主开关。 2. **一主两备部署**: - 默认最大保护模式,自动切换开启。 需检查并配置自动切换以确保高可用性。经验总结:一主一备默认关闭自动切换,需手动开启;一主两备默认开启。
|
9月前
|
JavaScript NoSQL Java
基于SpringBoot+Vue实现的大学生就业服务平台设计与实现(系统源码+文档+数据库+部署等)
面向大学生毕业选题、开题、任务书、程序设计开发、论文辅导提供一站式服务。主要服务:程序设计开发、代码修改、成品部署、支持定制、论文辅导,助力毕设!

热门文章

最新文章

推荐镜像

更多