ubuntu azkaban4.0.0链接mysql(5.1/8.0)数据库配置

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: ubuntu azkaban4.0.0链接mysql(5.1/8.0)数据库配置

azkaban官方部署连接
官网地址

本文会介绍azkaban4.0.0安装部署,分为部署连接mysql5.*系列和mysql8.0系列。以下有说明, 敬请留意

流程

下载
配置 构建
打包
拷贝
配置运行
登陆

一、下载

azkaban官网4.0.0下载地址(建议复制链接,直接wget 再解压)

cd /data/ ###你想要得地方,没有可以创建,可以随意替换
wget https://codeload.github.com/azkaban/azkaban/tar.gz/refs/tags/4.0.0
tar -xvzf azkaban-4.0.0.tar.gz
apt install git #安装git 
apt install openjdk-8-jdk #安装 jdk8

二、配置 构建

如果是mysql5.*数据库

cd  /data/azkaban-4.0.0
./gradlew build installDist -x test 

如果是mysql8.0.*数据库

cd  /data/azkaban-4.0.0
vim build.gradle
##原来
mysqlConnector       : 'mysql:mysql-connector-java:5.1.28',
##替换
mysqlConnector       : 'mysql:mysql-connector-java:8.0.22',
保存退出
vim  azkaban-db/src/main/java/azkaban/db/MySQLDataSource.java 
##原来
setDriverClassName("com.mysql.jdbc.Driver");
##改为
setDriverClassName("com.mysql.cj.jdbc.Driver");
保存退出
./gradlew build installDist -x test 

如果是mysql8.0.*数据库,但是没改配置已经构建过了,才发现是mysql8.0得

cd  /data/azkaban-4.0.0
./gradlew clean    ###清除构建
vim build.gradle
##原来
mysqlConnector       : 'mysql:mysql-connector-java:5.1.28',
##替换
mysqlConnector       : 'mysql:mysql-connector-java:8.0.22',
保存退出
vim  azkaban-db/src/main/java/azkaban/db/MySQLDataSource.java 
##原来
setDriverClassName("com.mysql.jdbc.Driver");
##改为
setDriverClassName("com.mysql.cj.jdbc.Driver");
保存退出
./gradlew build installDist -x test 

三、打包

分别打包
cd /data/azkaban-4.0.0/azkaban-exec-server/build/install/azkaban-exec-server
tar -cf azkaban-exec-server.tar.gz azkaban-exec-server
cd /data/azkaban-4.0.0/azkaban-web-server/build/install/azkaban-web-server
tar -cf azkaban-web-server.tar.gz azkaban-web-server
cd /data/azkaban-4.0.0/azkaban-db/build/install/azkaban-db
tar -cf azkaban-db.tar.gz azkaban-db

说明
azkaban-exec-server.tar.gz 执行器
azkaban-web-server.tar.gz 客户端
azkaban-db.tar.gz 数据库配置

Azkaban Executor Server 处理工作流和作业的实际执行。您可以从 master 分支构建最新版本。有关从源代码构建的说明,请参见此处。
Azkaban Executor Server handles the actual execution of the workflow and jobs. You can build the latest version from the master branch. See here for instructions on Building from Source.
Extract the package (executor distribution tar.gz from build folder) into a directory after gradle build. There should be the following directories.
Folder Description bin The scripts to start/stop Azkaban solo server
conf The configuration files for Azkaban solo server lib The jar
dependencies for Azkaban extlib Additional jars that are added to
extlib will be added to Azkaban’s classpath plugins the directory
where plugins can be installed
Azkaban Web Server handles project management, authentication, scheduling and trigger of executions. You can build the latest version
from the master branch. See here for instructions on Building from
Source.

Extract the package (executor distribution tar.gz from build folder)
into a directory after gradle build. There should be the following
directories.

Folder Description bin The scripts to start/stop Azkaban solo server
conf The configuration files for Azkaban solo server lib The jar
dependencies for Azkaban web The web (css, javascript, image) files
for Azkaban web server

azkaban-db主要需要它

/azkaban-db/build/distributions/azkaban-db-<version>.sql文件
azkaban-db/create-all-sql-0.1.0-SNAPSHOT.sql#数据库表

四、拷贝

把刚刚生成的包放到合适的服务器上,因为我是统一一台部署,所以就放一个文件夹下(按照需求来)

cd /opt
mv /data/azkaban-4.0.0/azkaban-exec-server/build/install/azkaban-exec-server/azkaban-exec-server.tar.gz /opt
mv /data/azkaban-4.0.0/azkaban-web-server/build/install/azkaban-web-server/azkaban-web-server.tar.gz  /opt
mv  /data/azkaban-4.0.0/azkaban-db/build/install/azkaban-db/azkaban-db.tar.gz /opt
tar -xf azkaban-exec-server.tar.gz
tar -xf azkaban-web-server.tar.gz
tar -xf azkaban-db.tar.gz 

五、配置运行

配置数据库

安装数据库
apt install mysql ###总之是安装mysql,自己选5.7还是8.0
# Example database creation command, although the db name doesn't need to be 'azkaban'
mysql> CREATE DATABASE azkaban;
# Example database creation command. The user name doesn't need to be 'azkaban'
mysql> CREATE USER 'username'@'%' IDENTIFIED BY 'password';
# give the user INSERT, SELECT, UPDATE, DELETE permission on all tables in the Azkaban db.
mysql> GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.* to '<username>'@'%' WITH GRANT OPTION;




Mysql Packet Size may need to be re-configured. MySQL may have, by default, a ridiculously low allowable packet size. To increase it, you’ll need to have the property max_allowed_packet set to a higher number, say 1024M. To configure this in linux, open /etc/my.cnf. Somewhere after mysqld, add the following:

[mysqld]
...
max_allowed_packet=1024M
To restart MySQL, you can run:

$ sudo /sbin/service mysqld restart

创建阿兹卡班表
mysql> use azkaban;
mysql> source /opt/azkaban-db/create-all-sql-0.1.0-SNAPSHOT.sql;

配置azkaban-exec-server

cd /opt/azkaban-exec-server
vim  conf/azkaban.properties
default.timezone.id= #这里是时区
database.type=mysql
mysql.port=3306   #这里是mysql端口
mysql.host=127.0.0.1   #这里是mysql地址
mysql.database=azkaban #这里是mysql数据库名称
mysql.user=azkaban    #这里是mysql用户名
mysql.password=azkaban@123#这里是mysql密码
保存退出
然后运行:

cd /opt/azkaban-exec-server
./bin/start-exec.sh
之后,记得通过调用来激活执行器:

cd /opt/azkaban-exec-server
curl -G "localhost:$(<./executor.port)/executor?action=activate" && echo


查看日志
cat execServerLog***.out |grep -i error##根据自己运行时间来

配置azkaban-exec-server

cd /opt/azkaban-web-server
vim  conf/azkaban.properties
default.timezone.id= #这里是时区
database.type=mysql
mysql.port=3306   #这里是mysql端口
mysql.host=127.0.0.1   #这里是mysql地址
mysql.database=azkaban #这里是mysql数据库名称
mysql.user=azkaban    #这里是mysql用户名
mysql.password=azkaban@123#这里是mysql密码
保存退出
cd /opt/azkaban-web-server
./bin/start-web.sh



查看日志
cat webServerLog***.out |grep -i error##根据自己运行时间来

六、登陆

浏览器访问你web机器的 IP:8081

cat/opt/azkaban-web-server/conf/azkaban-users.xml ##登陆信息在这里面
如果想要改账户密码,只需要修改文件保存退出,杀死当前web的进程,再次运行
cd /opt/azkaban-web-server
./bin/start-web.sh
相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
12天前
|
SQL 关系型数据库 MySQL
mysql主从复制概述和配置
【10月更文挑战第22天】MySQL 主从复制是一种将主服务器的数据复制到一个或多个从服务器的技术,实现读写分离,提高系统性能和可用性。主服务器记录变更日志,从服务器通过 I/O 和 SQL 线程读取并应用这些变更。适用于读写分离、数据备份和恢复、数据分析等场景。配置步骤包括修改配置文件、创建复制用户、配置从服务器连接主服务器并启动复制进程。
|
18天前
|
网络协议 Ubuntu 网络安全
|
18小时前
|
存储 SQL 关系型数据库
2024Mysql And Redis基础与进阶操作系列(1)作者——LJS[含MySQL的下载、安装、配置详解步骤及报错对应解决方法]
Mysql And Redis基础与进阶操作系列(1)之[MySQL的下载、安装、配置详解步骤及报错对应解决方法]
|
1天前
|
关系型数据库 MySQL Linux
在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤,包括准备工作、下载源码、编译安装、配置 MySQL 服务、登录设置等。
本文介绍了在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤,包括准备工作、下载源码、编译安装、配置 MySQL 服务、登录设置等。同时,文章还对比了编译源码安装与使用 RPM 包安装的优缺点,帮助读者根据需求选择最合适的方法。通过具体案例,展示了编译源码安装的灵活性和定制性。
12 2
|
1天前
|
存储 监控 安全
数据库多实例的部署与配置方法
【10月更文挑战第23天】数据库多实例的部署和配置需要综合考虑多个因素,包括硬件资源、软件设置、性能优化、安全保障等。通过合理的部署和配置,可以充分发挥多实例的优势,提高数据库系统的运行效率和可靠性。在实际操作中,要不断总结经验,根据实际情况进行调整和优化,以适应不断变化的业务需求。
|
6天前
|
SQL 关系型数据库 MySQL
Mysql中搭建主从复制原理和配置
主从复制在数据库管理中广泛应用,主要优点包括提高性能、实现高可用性、数据备份及灾难恢复。通过读写分离、从服务器接管、实时备份和地理分布等机制,有效增强系统的稳定性和数据安全性。主从复制涉及I/O线程和SQL线程,前者负责日志传输,后者负责日志应用,确保数据同步。配置过程中需开启二进制日志、设置唯一服务器ID,并创建复制用户,通过CHANGE MASTER TO命令配置从服务器连接主服务器,实现数据同步。实验部分展示了如何在两台CentOS 7服务器上配置MySQL 5.7主从复制,包括关闭防火墙、配置静态IP、设置域名解析、配置主从服务器、启动复制及验证同步效果。
Mysql中搭建主从复制原理和配置
|
15天前
|
前端开发 Java 数据库连接
javamvc配置,增删改查,文件上传下载。
【10月更文挑战第4天】javamvc配置,增删改查,文件上传下载。
33 1
|
17天前
|
关系型数据库 MySQL Java
Django学习二:配置mysql,创建model实例,自动创建数据库表,对mysql数据库表已经创建好的进行直接操作和实验。
这篇文章是关于如何使用Django框架配置MySQL数据库,创建模型实例,并自动或手动创建数据库表,以及对这些表进行操作的详细教程。
47 0
Django学习二:配置mysql,创建model实例,自动创建数据库表,对mysql数据库表已经创建好的进行直接操作和实验。
|
18天前
|
Java 关系型数据库 MySQL
springboot学习四:springboot链接mysql数据库,使用JdbcTemplate 操作mysql
这篇文章是关于如何使用Spring Boot框架通过JdbcTemplate操作MySQL数据库的教程。
17 0
springboot学习四:springboot链接mysql数据库,使用JdbcTemplate 操作mysql
|
3天前
|
SQL 关系型数据库 数据库连接
"Nacos 2.1.0版本数据库配置写入难题破解攻略:一步步教你排查连接、权限和配置问题,重启服务轻松解决!"
【10月更文挑战第23天】在使用Nacos 2.1.0版本时,可能会遇到无法将配置信息写入数据库的问题。本文将引导你逐步解决这一问题,包括检查数据库连接、用户权限、Nacos配置文件,并提供示例代码和详细步骤。通过这些方法,你可以有效解决配置写入失败的问题。
10 0