ubuntu azkaban4.0.0链接mysql(5.1/8.0)数据库配置

本文涉及的产品
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
RDS MySQL DuckDB 分析主实例,基础系列 4核8GB
RDS DuckDB + QuickBI 企业套餐,8核32GB + QuickBI 专业版
简介: ubuntu azkaban4.0.0链接mysql(5.1/8.0)数据库配置

azkaban官方部署连接
官网地址

本文会介绍azkaban4.0.0安装部署,分为部署连接mysql5.*系列和mysql8.0系列。以下有说明, 敬请留意

流程

下载
配置 构建
打包
拷贝
配置运行
登陆

一、下载

azkaban官网4.0.0下载地址(建议复制链接,直接wget 再解压)

cd /data/ ###你想要得地方,没有可以创建,可以随意替换
wget https://codeload.github.com/azkaban/azkaban/tar.gz/refs/tags/4.0.0
tar -xvzf azkaban-4.0.0.tar.gz
apt install git #安装git 
apt install openjdk-8-jdk #安装 jdk8

二、配置 构建

如果是mysql5.*数据库

cd  /data/azkaban-4.0.0
./gradlew build installDist -x test 

如果是mysql8.0.*数据库

cd  /data/azkaban-4.0.0
vim build.gradle
##原来
mysqlConnector       : 'mysql:mysql-connector-java:5.1.28',
##替换
mysqlConnector       : 'mysql:mysql-connector-java:8.0.22',
保存退出
vim  azkaban-db/src/main/java/azkaban/db/MySQLDataSource.java 
##原来
setDriverClassName("com.mysql.jdbc.Driver");
##改为
setDriverClassName("com.mysql.cj.jdbc.Driver");
保存退出
./gradlew build installDist -x test 

如果是mysql8.0.*数据库,但是没改配置已经构建过了,才发现是mysql8.0得

cd  /data/azkaban-4.0.0
./gradlew clean    ###清除构建
vim build.gradle
##原来
mysqlConnector       : 'mysql:mysql-connector-java:5.1.28',
##替换
mysqlConnector       : 'mysql:mysql-connector-java:8.0.22',
保存退出
vim  azkaban-db/src/main/java/azkaban/db/MySQLDataSource.java 
##原来
setDriverClassName("com.mysql.jdbc.Driver");
##改为
setDriverClassName("com.mysql.cj.jdbc.Driver");
保存退出
./gradlew build installDist -x test 

三、打包

分别打包
cd /data/azkaban-4.0.0/azkaban-exec-server/build/install/azkaban-exec-server
tar -cf azkaban-exec-server.tar.gz azkaban-exec-server
cd /data/azkaban-4.0.0/azkaban-web-server/build/install/azkaban-web-server
tar -cf azkaban-web-server.tar.gz azkaban-web-server
cd /data/azkaban-4.0.0/azkaban-db/build/install/azkaban-db
tar -cf azkaban-db.tar.gz azkaban-db

说明
azkaban-exec-server.tar.gz 执行器
azkaban-web-server.tar.gz 客户端
azkaban-db.tar.gz 数据库配置

Azkaban Executor Server 处理工作流和作业的实际执行。您可以从 master 分支构建最新版本。有关从源代码构建的说明,请参见此处。
Azkaban Executor Server handles the actual execution of the workflow and jobs. You can build the latest version from the master branch. See here for instructions on Building from Source.
Extract the package (executor distribution tar.gz from build folder) into a directory after gradle build. There should be the following directories.
Folder Description bin The scripts to start/stop Azkaban solo server
conf The configuration files for Azkaban solo server lib The jar
dependencies for Azkaban extlib Additional jars that are added to
extlib will be added to Azkaban’s classpath plugins the directory
where plugins can be installed
Azkaban Web Server handles project management, authentication, scheduling and trigger of executions. You can build the latest version
from the master branch. See here for instructions on Building from
Source.

Extract the package (executor distribution tar.gz from build folder)
into a directory after gradle build. There should be the following
directories.

Folder Description bin The scripts to start/stop Azkaban solo server
conf The configuration files for Azkaban solo server lib The jar
dependencies for Azkaban web The web (css, javascript, image) files
for Azkaban web server

azkaban-db主要需要它

/azkaban-db/build/distributions/azkaban-db-<version>.sql文件
azkaban-db/create-all-sql-0.1.0-SNAPSHOT.sql#数据库表

四、拷贝

把刚刚生成的包放到合适的服务器上,因为我是统一一台部署,所以就放一个文件夹下(按照需求来)

cd /opt
mv /data/azkaban-4.0.0/azkaban-exec-server/build/install/azkaban-exec-server/azkaban-exec-server.tar.gz /opt
mv /data/azkaban-4.0.0/azkaban-web-server/build/install/azkaban-web-server/azkaban-web-server.tar.gz  /opt
mv  /data/azkaban-4.0.0/azkaban-db/build/install/azkaban-db/azkaban-db.tar.gz /opt
tar -xf azkaban-exec-server.tar.gz
tar -xf azkaban-web-server.tar.gz
tar -xf azkaban-db.tar.gz 

五、配置运行

配置数据库

安装数据库
apt install mysql ###总之是安装mysql,自己选5.7还是8.0
# Example database creation command, although the db name doesn't need to be 'azkaban'
mysql> CREATE DATABASE azkaban;
# Example database creation command. The user name doesn't need to be 'azkaban'
mysql> CREATE USER 'username'@'%' IDENTIFIED BY 'password';
# give the user INSERT, SELECT, UPDATE, DELETE permission on all tables in the Azkaban db.
mysql> GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.* to '<username>'@'%' WITH GRANT OPTION;




Mysql Packet Size may need to be re-configured. MySQL may have, by default, a ridiculously low allowable packet size. To increase it, you’ll need to have the property max_allowed_packet set to a higher number, say 1024M. To configure this in linux, open /etc/my.cnf. Somewhere after mysqld, add the following:

[mysqld]
...
max_allowed_packet=1024M
To restart MySQL, you can run:

$ sudo /sbin/service mysqld restart

创建阿兹卡班表
mysql> use azkaban;
mysql> source /opt/azkaban-db/create-all-sql-0.1.0-SNAPSHOT.sql;

配置azkaban-exec-server

cd /opt/azkaban-exec-server
vim  conf/azkaban.properties
default.timezone.id= #这里是时区
database.type=mysql
mysql.port=3306   #这里是mysql端口
mysql.host=127.0.0.1   #这里是mysql地址
mysql.database=azkaban #这里是mysql数据库名称
mysql.user=azkaban    #这里是mysql用户名
mysql.password=azkaban@123#这里是mysql密码
保存退出
然后运行:

cd /opt/azkaban-exec-server
./bin/start-exec.sh
之后,记得通过调用来激活执行器:

cd /opt/azkaban-exec-server
curl -G "localhost:$(<./executor.port)/executor?action=activate" && echo


查看日志
cat execServerLog***.out |grep -i error##根据自己运行时间来

配置azkaban-exec-server

cd /opt/azkaban-web-server
vim  conf/azkaban.properties
default.timezone.id= #这里是时区
database.type=mysql
mysql.port=3306   #这里是mysql端口
mysql.host=127.0.0.1   #这里是mysql地址
mysql.database=azkaban #这里是mysql数据库名称
mysql.user=azkaban    #这里是mysql用户名
mysql.password=azkaban@123#这里是mysql密码
保存退出
cd /opt/azkaban-web-server
./bin/start-web.sh



查看日志
cat webServerLog***.out |grep -i error##根据自己运行时间来

六、登陆

浏览器访问你web机器的 IP:8081

cat/opt/azkaban-web-server/conf/azkaban-users.xml ##登陆信息在这里面
如果想要改账户密码,只需要修改文件保存退出,杀死当前web的进程,再次运行
cd /opt/azkaban-web-server
./bin/start-web.sh
相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
相关文章
|
8月前
|
缓存 关系型数据库 BI
使用MYSQL Report分析数据库性能(下)
使用MYSQL Report分析数据库性能
516 158
|
8月前
|
Oracle 关系型数据库 Linux
【赵渝强老师】Oracle数据库配置助手:DBCA
Oracle数据库配置助手(DBCA)是用于创建和配置Oracle数据库的工具,支持图形界面和静默执行模式。本文介绍了使用DBCA在Linux环境下创建数据库的完整步骤,包括选择数据库操作类型、配置存储与网络选项、设置管理密码等,并提供了界面截图与视频讲解,帮助用户快速掌握数据库创建流程。
677 93
|
8月前
|
关系型数据库 MySQL 数据库
阿里云数据库RDS费用价格:MySQL、SQL Server、PostgreSQL和MariaDB引擎收费标准
阿里云RDS数据库支持MySQL、SQL Server、PostgreSQL、MariaDB,多种引擎优惠上线!MySQL倚天版88元/年,SQL Server 2核4G仅299元/年,PostgreSQL 227元/年起。高可用、可弹性伸缩,安全稳定。详情见官网活动页。
1350 152
|
8月前
|
关系型数据库 MySQL 数据库
阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎
阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎,提供高性价比、稳定安全的云数据库服务,适用于多种行业与业务场景。
971 156
|
8月前
|
缓存 监控 关系型数据库
使用MYSQL Report分析数据库性能(中)
使用MYSQL Report分析数据库性能
547 156
|
8月前
|
关系型数据库 MySQL 分布式数据库
阿里云PolarDB云原生数据库收费价格:MySQL和PostgreSQL详细介绍
阿里云PolarDB兼容MySQL、PostgreSQL及Oracle语法,支持集中式与分布式架构。标准版2核4G年费1116元起,企业版最高性能达4核16G,支持HTAP与多级高可用,广泛应用于金融、政务、互联网等领域,TCO成本降低50%。
|
8月前
|
关系型数据库 分布式数据库 数据库
阿里云数据库收费价格:MySQL、PostgreSQL、SQL Server和MariaDB引擎费用整理
阿里云数据库提供多种类型,包括关系型与NoSQL,主流如PolarDB、RDS MySQL/PostgreSQL、Redis等。价格低至21元/月起,支持按需付费与优惠套餐,适用于各类应用场景。
|
8月前
|
SQL 关系型数据库 MySQL
Mysql数据恢复—Mysql数据库delete删除后数据恢复案例
本地服务器,操作系统为windows server。服务器上部署mysql单实例,innodb引擎,独立表空间。未进行数据库备份,未开启binlog。 人为误操作使用Delete命令删除数据时未添加where子句,导致全表数据被删除。删除后未对该表进行任何操作。需要恢复误删除的数据。 在本案例中的mysql数据库未进行备份,也未开启binlog日志,无法直接还原数据库。
|
8月前
|
Ubuntu 安全 关系型数据库
安装与配置MySQL 8 on Ubuntu,包括权限授予、数据库备份及远程连接指南
以上步骤提供了在Ubuntu上从头开始设置、配置、授权、备份及恢复一个基础但完整的MySQL环境所需知识点。
892 7
|
SQL Java 数据库连接
MySQL---数据库从入门走向大神系列(十五)-Apache的DBUtils框架使用
MySQL---数据库从入门走向大神系列(十五)-Apache的DBUtils框架使用
533 0
MySQL---数据库从入门走向大神系列(十五)-Apache的DBUtils框架使用