Apache Oozie -安装部署-配置文件修改 & 数据库、war 包初始化|学习笔记

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 快速学习 Apache Oozie -安装部署-配置文件修改 & 数据库、war 包初始化

开发者学堂课程【Oozie 知识精讲与实战演练Apache Oozie- 安装部署-配置文件修改& 数据库、war 包初始化】学习笔记,与课程紧密联系,让用户快速学习知识。  

课程地址:https://developer.aliyun.com/learning/course/716/detail/12784


二.初始化 mysql 相关信息


1.上传 oozie 的解压后目录的下的 yarn.tar.gz 到 hdfs目录

bin/oozie-setup.sh sharelib create -fs hdfs://node-1:9000

locallib oozie-sharelib-4.1.0-cdh5.14.0-yarn.tar.gz

图片7.png

第一个,需要将 oozie 的一些包上传到 hdfs 指定的目录下,此命令是官方提供的,只要直接执行就可,路径需要修改,将其复制查看,里面涉及到命令换行,如果直接执行就报错,需要改路径,在 Note—1 的9000上.

命令用途:

sharelib 就是共享 oozie 所依赖的架包,架包在根目录下查看.

本质是将这些jar包解压到 hdfs 路径下。

创建路径在日志中可以查看到

图片8.png

将命令复制一遍,放入根目录(安装包解压的根目录)执行。

分享的架包路径:user/root/share/lib_20190608163746,

生成文件夹由此得出执行并不准确

图片9.png

可以打开浏览器进行查看在

user/root/share/lib_20190608163746 可以观察到含有不同模块

是 oozie 运行时依赖的架包比如与 help 相关、与 spark 相关等等都已被提供

图片10.png

2.创建 mysql 数据库

初始化数据库

mysql -uroot -p

create database oozie;

使用原生方式登录,

mysql -uroot -p 用户名,密码

注意:创建数据库 oozie,数据库名称要与之前保持一致(因为连接到数据库中进行解析)

创建完成:

图片11.png

创建完成后可以直接退出

3.初始化创建 oozie 的数据库表

不需要执行,只需按照命令做

cd /export/servers/oozie-4.1.0-cdh5.14.0

bin/oozie-setup.sh db create -run -sqlfile oozie.sql

图片12.png

在安装目录下执行此条命令去创建会直接执行 mgsql

复制执行

可以看到校验是否连接,库表是否存在等

可以查看打印信息 sql 命令已经写入打印文件中,文件在根目录下叫:oozie.sql

图片13.png

可以通过 oozie.sql 查看执行记录

图片14.png

3. 验证执行

打开 Navicat 工具连接到 node-1 上,双击 oozie 数据库,发现这些表就是 oozie工作依赖的表,如果这些表初始化不成功。后面启动就不用启动,肯定也不会成功.

图片15.png

 

三.生成 war 包


在服务本质是 JAVA 的 web 项目运行在 web 容易当中内置使用 Tomcat 运行你要做的就是。相关的依赖联通的信息打成一个 war 包,war 包的打不用执行最底层命令,只需用提供的命令执行就可以。

cd /export/servers/oozie-4.1.0-cdh5.14.0

bin/oozie-setup.sh prepare-war

图片16.png

首先还是到安装包的根目录下然后执行下面命令

bin/oozie-setup.sh prepare-war 直接复制。查看到,这里面日志已经添加了好多的架包,这些架包都会添加进来变成 war 包,war 包就可以在 tomcat 中运行。后面最后一个信息:已经准备完成,可以启动.到这里基本上已经完成。

图片17.png

四.配置 oozie 环境变量


最后是可选项叫做 oozie 的环境变量配置。如果说配置后面使用 oozie 提供也好,或者相关操作的敲全路径,配置完成之后直接不用敲全路径,直接写相对路径就可以完成。

vim /etc/profile

export O0ZIE_HOME=/export/servers/oozie-4.1.0-cdh5.14.0

export O0ZIE_URL=http://node03.hadoop.com:11000/oozie

export PATH=SPATH:SOOZIE_HOME/bin

source /etc/profile

有三个,第一个是 oozie 的 home 指向安装包根目录

第二个是 oozie url,后面符合哪个路径,就写进去,这里不要照抄,这里的地址写的是跟你的地址不一样,比如这里是-1,-1只要替换端口后面保持一致,主要就是house 的主机名.

第三,把 path 倒一下,注意修改环境变量之后需要做 profile 命令重新加载.

验证:cat/etc/profile   此时出现三个选项,完成 oozie 启动前的各种配置

图片18.png 

总结:

解压 oozie 安装包拷贝相关依赖的软件

修改 oozie-site.xml 主要是 mysqlt 相关信息 hadoopi 配置文件

初始化 mysql 创建库表

生成执行需要的 war 包

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
23天前
|
存储 监控 安全
数据库多实例的部署与配置方法
【10月更文挑战第23天】数据库多实例的部署和配置需要综合考虑多个因素,包括硬件资源、软件设置、性能优化、安全保障等。通过合理的部署和配置,可以充分发挥多实例的优势,提高数据库系统的运行效率和可靠性。在实际操作中,要不断总结经验,根据实际情况进行调整和优化,以适应不断变化的业务需求。
|
1月前
|
存储 SQL 关系型数据库
Mysql学习笔记(二):数据库命令行代码总结
这篇文章是关于MySQL数据库命令行操作的总结,包括登录、退出、查看时间与版本、数据库和数据表的基本操作(如创建、删除、查看)、数据的增删改查等。它还涉及了如何通过SQL语句进行条件查询、模糊查询、范围查询和限制查询,以及如何进行表结构的修改。这些内容对于初学者来说非常实用,是学习MySQL数据库管理的基础。
131 6
|
3月前
|
监控 Java 应用服务中间件
达梦数据库DEM监控部署教程分享
达梦数据库DEM监控部署教程分享
128 2
|
18天前
|
存储 SQL Apache
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
Apache Doris 是一个基于 MPP 架构的高性能实时分析数据库,以其极高的速度和易用性著称。它支持高并发点查询和复杂分析场景,适用于报表分析、即席查询、数据仓库和数据湖查询加速等。最新发布的 2.0.2 版本在性能、稳定性和多租户支持方面有显著提升。社区活跃,已广泛应用于电商、广告、用户行为分析等领域。
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
|
22天前
|
SQL 关系型数据库 数据库
国产数据实战之docker部署MyWebSQL数据库管理工具
【10月更文挑战第23天】国产数据实战之docker部署MyWebSQL数据库管理工具
72 4
国产数据实战之docker部署MyWebSQL数据库管理工具
|
11天前
|
SQL 存储 Linux
从配置源到数据库初始化一步步教你在CentOS 7.9上安装SQL Server 2019
【11月更文挑战第8天】本文介绍了在 CentOS 7.9 上安装 SQL Server 2019 的详细步骤,包括系统准备、配置安装源、安装 SQL Server 软件包、运行安装程序、初始化数据库以及配置远程连接。通过这些步骤,您可以顺利地在 CentOS 系统上部署和使用 SQL Server 2019。
|
12天前
|
SQL 存储 Linux
从配置源到数据库初始化一步步教你在CentOS 7.9上安装SQL Server 2019
【11月更文挑战第7天】本文介绍了在 CentOS 7.9 上安装 SQL Server 2019 的详细步骤,包括系统要求检查与准备、配置安装源、安装 SQL Server 2019、配置 SQL Server 以及数据库初始化(可选)。通过这些步骤,你可以成功安装并初步配置 SQL Server 2019,进行简单的数据库操作。
|
1月前
|
SQL Ubuntu 关系型数据库
Mysql学习笔记(一):数据库详细介绍以及Navicat简单使用
本文为MySQL学习笔记,介绍了数据库的基本概念,包括行、列、主键等,并解释了C/S和B/S架构以及SQL语言的分类。接着,指导如何在Windows和Ubuntu系统上安装MySQL,并提供了启动、停止和重启服务的命令。文章还涵盖了Navicat的使用,包括安装、登录和新建表格等步骤。最后,介绍了MySQL中的数据类型和字段约束,如主键、外键、非空和唯一等。
71 3
Mysql学习笔记(一):数据库详细介绍以及Navicat简单使用
|
19天前
|
PHP 数据库 数据安全/隐私保护
布谷直播源码部署服务器关于数据库配置的详细说明
布谷直播系统源码搭建部署时数据库配置明细!
|
1月前
|
存储 消息中间件 druid
大数据-150 Apache Druid 安装部署 单机启动 系统架构
大数据-150 Apache Druid 安装部署 单机启动 系统架构
42 1

推荐镜像

更多
下一篇
无影云桌面