Apache Oozie -安装部署-配置文件修改 & 数据库、war 包初始化|学习笔记

本文涉及的产品
RDS AI 助手,专业版
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
RDS MySQL DuckDB 分析主实例,基础系列 4核8GB
简介: 快速学习 Apache Oozie -安装部署-配置文件修改 & 数据库、war 包初始化

开发者学堂课程【Oozie 知识精讲与实战演练Apache Oozie- 安装部署-配置文件修改& 数据库、war 包初始化】学习笔记,与课程紧密联系,让用户快速学习知识。  

课程地址:https://developer.aliyun.com/learning/course/716/detail/12784


二.初始化 mysql 相关信息


1.上传 oozie 的解压后目录的下的 yarn.tar.gz 到 hdfs目录

bin/oozie-setup.sh sharelib create -fs hdfs://node-1:9000

locallib oozie-sharelib-4.1.0-cdh5.14.0-yarn.tar.gz

图片7.png

第一个,需要将 oozie 的一些包上传到 hdfs 指定的目录下,此命令是官方提供的,只要直接执行就可,路径需要修改,将其复制查看,里面涉及到命令换行,如果直接执行就报错,需要改路径,在 Note—1 的9000上.

命令用途:

sharelib 就是共享 oozie 所依赖的架包,架包在根目录下查看.

本质是将这些jar包解压到 hdfs 路径下。

创建路径在日志中可以查看到

图片8.png

将命令复制一遍,放入根目录(安装包解压的根目录)执行。

分享的架包路径:user/root/share/lib_20190608163746,

生成文件夹由此得出执行并不准确

图片9.png

可以打开浏览器进行查看在

user/root/share/lib_20190608163746 可以观察到含有不同模块

是 oozie 运行时依赖的架包比如与 help 相关、与 spark 相关等等都已被提供

图片10.png

2.创建 mysql 数据库

初始化数据库

mysql -uroot -p

create database oozie;

使用原生方式登录,

mysql -uroot -p 用户名,密码

注意:创建数据库 oozie,数据库名称要与之前保持一致(因为连接到数据库中进行解析)

创建完成:

图片11.png

创建完成后可以直接退出

3.初始化创建 oozie 的数据库表

不需要执行,只需按照命令做

cd /export/servers/oozie-4.1.0-cdh5.14.0

bin/oozie-setup.sh db create -run -sqlfile oozie.sql

图片12.png

在安装目录下执行此条命令去创建会直接执行 mgsql

复制执行

可以看到校验是否连接,库表是否存在等

可以查看打印信息 sql 命令已经写入打印文件中,文件在根目录下叫:oozie.sql

图片13.png

可以通过 oozie.sql 查看执行记录

图片14.png

3. 验证执行

打开 Navicat 工具连接到 node-1 上,双击 oozie 数据库,发现这些表就是 oozie工作依赖的表,如果这些表初始化不成功。后面启动就不用启动,肯定也不会成功.

图片15.png

 

三.生成 war 包


在服务本质是 JAVA 的 web 项目运行在 web 容易当中内置使用 Tomcat 运行你要做的就是。相关的依赖联通的信息打成一个 war 包,war 包的打不用执行最底层命令,只需用提供的命令执行就可以。

cd /export/servers/oozie-4.1.0-cdh5.14.0

bin/oozie-setup.sh prepare-war

图片16.png

首先还是到安装包的根目录下然后执行下面命令

bin/oozie-setup.sh prepare-war 直接复制。查看到,这里面日志已经添加了好多的架包,这些架包都会添加进来变成 war 包,war 包就可以在 tomcat 中运行。后面最后一个信息:已经准备完成,可以启动.到这里基本上已经完成。

图片17.png

四.配置 oozie 环境变量


最后是可选项叫做 oozie 的环境变量配置。如果说配置后面使用 oozie 提供也好,或者相关操作的敲全路径,配置完成之后直接不用敲全路径,直接写相对路径就可以完成。

vim /etc/profile

export O0ZIE_HOME=/export/servers/oozie-4.1.0-cdh5.14.0

export O0ZIE_URL=http://node03.hadoop.com:11000/oozie

export PATH=SPATH:SOOZIE_HOME/bin

source /etc/profile

有三个,第一个是 oozie 的 home 指向安装包根目录

第二个是 oozie url,后面符合哪个路径,就写进去,这里不要照抄,这里的地址写的是跟你的地址不一样,比如这里是-1,-1只要替换端口后面保持一致,主要就是house 的主机名.

第三,把 path 倒一下,注意修改环境变量之后需要做 profile 命令重新加载.

验证:cat/etc/profile   此时出现三个选项,完成 oozie 启动前的各种配置

图片18.png 

总结:

解压 oozie 安装包拷贝相关依赖的软件

修改 oozie-site.xml 主要是 mysqlt 相关信息 hadoopi 配置文件

初始化 mysql 创建库表

生成执行需要的 war 包

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
存储 SQL 关系型数据库
Mysql学习笔记(二):数据库命令行代码总结
这篇文章是关于MySQL数据库命令行操作的总结,包括登录、退出、查看时间与版本、数据库和数据表的基本操作(如创建、删除、查看)、数据的增删改查等。它还涉及了如何通过SQL语句进行条件查询、模糊查询、范围查询和限制查询,以及如何进行表结构的修改。这些内容对于初学者来说非常实用,是学习MySQL数据库管理的基础。
379 6
|
10月前
|
安全 Apache 数据库
【倒计时3天】NineData x Apache Doris x 阿里云联合举办数据库技术Meetup,5月24日深圳见!
5月24日,NineData联合Apache Doris与阿里云在深圳举办数据库技术Meetup。活动聚焦「数据实时分析」与「数据同步迁移」两大领域,邀请行业专家分享技术趋势、产品实践及解决方案,助力企业构建高效安全的数据管理体系。时间:14:00-17:30;地点:深圳新一代产业园2栋20楼会议室。线下名额有限(80人),速报名参与深度交流!
273 1
|
12月前
|
前端开发 Java 关系型数据库
基于ssm的超市会员(积分)管理系统,附源码+数据库+论文,包安装调试
本项目为简单内容浏览和信息处理系统,具备管理员和员工权限。管理员可管理会员、员工、商品及积分记录,员工则负责积分、商品信息和兑换管理。技术框架采用Java编程语言,B/S架构,前端使用Vue+JSP+JavaScript+Css+LayUI,后端为SSM框架,数据库为MySQL。运行环境为Windows,JDK8+Tomcat8.5,非前后端分离的Maven项目。提供演示视频和详细文档,购买后支持免费远程安装调试。
557 19
|
12月前
|
前端开发 JavaScript Java
[Java计算机毕设]基于ssm的OA办公管理系统的设计与实现,附源码+数据库+论文+开题,包安装调试
OA办公管理系统是一款基于Java和SSM框架开发的B/S架构应用,适用于Windows系统。项目包含管理员、项目管理人员和普通用户三种角色,分别负责系统管理、请假审批、图书借阅等日常办公事务。系统使用Vue、HTML、JavaScript、CSS和LayUI构建前端,后端采用SSM框架,数据库为MySQL,共24张表。提供完整演示视频和详细文档截图,支持远程安装调试,确保顺利运行。
471 17
|
12月前
|
数据库
【YashanDB知识库】调整NUMBER精度,再执行统计信息收集高级包偶现数据库异常退出
【问题分类】功能使用 【关键字】NUMBER类型精度修改,统计信息收集 【问题描述】调整表中NUMBER字段精度时,数据库在收集统计信息时会异常退出。原因是YashanDB处理NUMBER字段精度时误踩内存。 【解决方法】锁定涉及NUMBER精度调整的表的统计信息;升级数据库至22.2.13.100及以上版本。 【影响范围】22.2.13.100以前版本。
|
存储 SQL Apache
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
Apache Doris 是一个基于 MPP 架构的高性能实时分析数据库,以其极高的速度和易用性著称。它支持高并发点查询和复杂分析场景,适用于报表分析、即席查询、数据仓库和数据湖查询加速等。最新发布的 2.0.2 版本在性能、稳定性和多租户支持方面有显著提升。社区活跃,已广泛应用于电商、广告、用户行为分析等领域。
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
|
SQL Ubuntu 关系型数据库
Mysql学习笔记(一):数据库详细介绍以及Navicat简单使用
本文为MySQL学习笔记,介绍了数据库的基本概念,包括行、列、主键等,并解释了C/S和B/S架构以及SQL语言的分类。接着,指导如何在Windows和Ubuntu系统上安装MySQL,并提供了启动、停止和重启服务的命令。文章还涵盖了Navicat的使用,包括安装、登录和新建表格等步骤。最后,介绍了MySQL中的数据类型和字段约束,如主键、外键、非空和唯一等。
278 3
Mysql学习笔记(一):数据库详细介绍以及Navicat简单使用
|
数据库连接 数据库 数据安全/隐私保护
数据库连接池的配置文件
我们首先要确认连接池需要哪些配置信息,根据经验,一个数据库连接池至少要有一下几个必须的配置。首先是必须由用户指定的几项配置,也就是数据库驱动、数据库连接的url、用户名和密码。然后是可以由连接池自己默认指定的几项配置,这些配置一般有:连接池初始大小,连接池最大大小,健康检查开始时间,健康检查间隔时间,以及连接超时时间。这些配置信息我们可以将其写进一个properties文件里,这个文件我们命名为pool.properties,处于项目的resource目录下。在创建数据库连接池时我们需要将这些配置信息读进内存里。
|
SQL 关系型数据库 MySQL
php学习笔记-连接操作mysq数据库(基础)-day08
本文介绍了PHP中连接操作MySQL数据库的常用函数,包括连接服务器、设置字符集、关闭连接、选择数据库、结果集释放、获取影响行数以及遍历结果集等操作。通过书籍查询的实例演示了如何使用这些函数进行数据库操作,并提供了一个PHP操纵MySQL数据库的模板。
php学习笔记-连接操作mysq数据库(基础)-day08
|
存储 消息中间件 人工智能
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
早期 MiniMax 基于 Grafana Loki 构建了日志系统,在资源消耗、写入性能及系统稳定性上都面临巨大的挑战。为此 MiniMax 开始寻找全新的日志系统方案,并基于阿里云数据库 SelectDB 版内核 Apache Doris 升级了日志系统,新系统已接入 MiniMax 内部所有业务线日志数据,数据规模为 PB 级, 整体可用性达到 99.9% 以上,10 亿级日志数据的检索速度可实现秒级响应。
991 14
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应

推荐镜像

更多