dolphinscheduler

本文涉及的产品
Serverless 应用引擎免费试用套餐包,4320000 CU,有效期3个月
函数计算FC,每月15万CU 3个月
可观测可视化 Grafana 版,10个用户账号 1个月
简介: 先根据伪集群来部署、部署中参考非伪集群1、mysql数据库mysql -h主机地址 -u用户名 -p2、查看等less:G、上下按键、ctrl+b、ctrl+f、qfind / -iname '*mysql*'更改目录所有者 chown -R dolphinscheduler:dolphinscheduler apache-dolphinscheduler-*-bin/usr/apache-dolphinscheduler-3.1.0-bin/tools/libs 里面也需要mysql驱动

先根据伪集群来部署、部署中参考非伪集群
1、mysql数据库
mysql -h主机地址 -u用户名 -p
2、查看等
less:G、上下按键、ctrl+b、ctrl+f、q
find / -iname 'mysql'
更改目录所有者 chown -R dolphinscheduler:dolphinscheduler apache-dolphinscheduler--bin
/usr/apache-dolphinscheduler-3.1.0-bin/tools/libs 里面也需要mysql驱动
3、mysql重新给root赋权限 https://blog.csdn.net/code_mzh/article/details/108243683
vim /etc/my.cnf
skip-grant-tables #在[mysqld]下面添加这一行,忽略权限表
systemctl restart mysqld.service
mysql -uroot -p回车登录即可
create user 'root'@'localhost' identified by 'Zcl124816.'; 如果报错用下面方法
flush privileges;刷新配置
create user 'root'@'localhost' identified by 'Zcl124816.';再次报错
drop user 'root'@'localhost';
create user 'root'@'localhost' identified by 'Zcl124816.';
GRANT ALL PRIVILEGES ON
. TO 'root'@'localhost' WITH GRANT OPTION; #赋予所有库所有表操作权限
flush privileges;
vim /etc/my.cnf
skip-grant-tables 去除
systemctl restart mysqld.service
4、清掉重复的sudo免密登录的do账号
vim /etc/sudoers 里面重复的dolphinscheduler ALL=(ALL) NOPASSWD: NOPASSWD: ALL
5、/etc/hosts设置好三台机器的
127.0.0.1 localhost ds3
192.168.126.53 localhost ds3
192.168.126.54 ds4
192.168.126.55 ds5
6、ssh免密(普通用户之间的免密登陆和 使用root 进行免密登陆,基本设置都是一样的,只不过普通用户之间需要修改 .ssh 和 authorized_keys 的权限免密才能生效)
①确认ssh服务已经安装并打开;
②打开文件/etc/ssh/sshd_config,确保以下配置已经添加(如果被"#“注释了就把”#"删除):
AuthorizedKeysFile .ssh/authorized_keys
PubkeyAuthentication yes
③三台机器的/etc/hostname文件中的内容分别是node0、node1、node2;
⑤三台机器上都有非root账号,为了方便操作,这里为三台机器都创建了名为hadoop的账号和群组,创建命令:
groupadd hadoop && useradd -d /home/hadoop -g hadoop -m hadoop
创建完账号后记得用命令passwd初始化hadoop账号的密码;
⑥ 在node0机器上输入ssh hadoop@node1,尝试ssh登录node1,此时由于未配置免密码登录,所以控制台要求输入node1的密码,如下:
准备工作已经完成,接下来开始实战免密码登录配置;
⑦以hadoop账号登录;生成密钥开始!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
⑧输入ssh-keygen -t rsa (分别在服务器执行,不要批量),然后一路回车,顺利生成秘钥文件,如下:
⑨进入目录~/.ssh/可见如下内容:id_rsa id_rsa.pub known_hosts
配置秘钥授权文件
①以hadoop账号登录node0机器;
②生成一个空白文件:touch ~/.ssh/authorized_keys
③将node0自己的公钥放入文件authorized_keys中:
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
④以hadoop账号登录node1机器,执行以下命令,即可将node1的公钥传输到node0机器,文件名为node1.id_rsa.pub:
scp ~/.ssh/id_rsa.pub hadoop@node0:~/.ssh/node1.id_rsa.pub
期间会要求输入node0的hadoop账号的密码,输入后传输完成,在node0的/home/hadoop/.ssh目录下,多了个名为node1.id_rsa.pub的文件;
⑤在node0机器执行以下命令,即可将node1.id_rsa.pub的内容写入authorized_keys文件:
cat ~/.ssh/node1.id_rsa.pub >> ~/.ssh/authorized_keys
此时authorized_keys文件中已经有了node0和node1的公钥;
⑥以hadoop账号登录node2机器,执行以下命令,即可将node2的公钥传输到node0机器,文件名为node2.id_rsa.pub:
scp ~/.ssh/id_rsa.pub hadoop@node0:~/.ssh/node2.id_rsa.pub
期间会要求输入node0的hadoop账号的密码,输入后传输完成,在node0的/home/hadoop/.ssh目录下,多了个名为node2.id_rsa.pub的文件;
⑦在node0机器执行以下命令,即可将node2.id_rsa.pub的内容写入authorized_keys文件:
cat ~/.ssh/node2.id_rsa.pub >> ~/.ssh/authorized_keys
此时authorized_keys文件中已经有了node0、node1、node2的公钥;
同步秘钥授权文件:
①以hadoop账号登录node0机器,执行以下命令将秘钥授权文件同步到node1机器:
scp ~/.ssh/authorized_keys hadoop@node1:~/.ssh/authorized_keys
②以hadoop账号登录node0机器,执行以下命令将秘钥授权文件同步到node2机器:
scp ~/.ssh/authorized_keys hadoop@node2:~/.ssh/authorized_keys
至此,秘钥授权文件已经同步到所有机器,如果前面的所有操作用的是root账号,此时已经可以免密码登录成功了,但是今天我们用的不是root账号,此时在node0输入命令ssh hadoop@node1,却发现依然要求输入node1的hadoop账号的密码,这是因为文件和文件夹权限的问题导致的,接下来解决权限问题;
调整文件夹和文件的权限(三台机器都要执行)
①先调整文件夹~/.ssh的权限:
chmod 700 ~/.ssh
②再调整文件~/.ssh/authorized_keys的权限:
chmod 600 ~/.ssh/authorized_keys
③至此,非root账号的SSH免密码登录配置已经完成,在node0输入命令ssh hadoop@node1试试,如下,顺利登录,不需要输入密码:
ssh hadoop@node1
再去node1、node2机器上试试SSH登录其他机器,发现也能免密码登录;
7、删除免登录
/home/dolphinscheduler/.ssh 里删除三个文件rm

8、使用./zkServer.sh start-foreground启动
设置zk的配置 tickTime=60000
在zkServer.sh搜索 start-foreground在下面"-Dzookeeper.log.file=${ZOO_LOG_FILE}"后面加 "-Dzookeeper.admin.enableServer=false" \ 再用./zkServer.sh start-foreground
通过端口号查进程 netstat -tunlp | grep 端口号 、 然后根据进程号查进程 ps -ef|grep 15522
9、各服务器需要安装mysql客户端(先下载rpm文件再安装,mysql官网选针对centos的Red Hat Enterprise Linux/Oracle Linux\Red Hat Enterprise Linux7/Oracle Linux7 x86,64bit\RPM Package,Client Utilities)
rpm -ivh mysql-community-client-8.0.31-1.el7.x86_64.rpm --nodeps --force

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
目录
相关文章
|
Cloud Native 网络协议 数据中心
Overlay网络与Underlay网络:深入探索与全面对比
在当今云原生的世界中🌍☁️,网络是构建和维护任何分布式系统的基石💎。了解Overlay网络和Underlay网络及其之间的区别🔍,对于设计高效、可扩展的云原生应用至关重要🚀。本文旨在全面解析Overlay和Underlay网络,揭示它们的工作原理、优缺点,并说明何种情况下应该使用哪一种网络📚。
Overlay网络与Underlay网络:深入探索与全面对比
|
分布式计算 Spark
通过spark.default.parallelism谈Spark并行度
本篇文章首先通过大家熟知的一个参数spark.default.parallelism为引,聊一聊Spark并行度都由哪些因素决定?
通过spark.default.parallelism谈Spark并行度
|
9月前
|
人工智能 缓存 Cloud Native
解锁 DeepSeek 安全接入、稳定运行新路径
聚焦于企业部署 DeepSeek 的应用需求,本文介绍了模型权重下载及多种部署方案,还阐述了大模型应用落地的常见需求,帮助用户逐步提升模型应用效果。
1254 248
|
1月前
|
Windows
Microsoft Activation Scripts v3.6 (MAS)激活工具安装教程!中文汉化版(激活工具)
Microsoft Activation Scripts v3.6(MAS)是一款开源、轻量级的批量激活工具,支持HWID、KMS38、TSforge等多种方式,可离线永久激活Win7至Win11及Office全系列。兼容旧系统如Vista,操作简单,无误报风险。
2186 0
|
分布式计算 Hadoop 关系型数据库
dolphinscheduler搭建
先根据伪集群来部署、部署中参考非伪集群 1、mysql数据库 mysql -h主机地址 -u用户名 -p 2、查看等 less:G、上下按键、ctrl+b、ctrl+f、q find / -iname '*mysql*' 更改目录所有者 chown -R dolphinscheduler:dolphinscheduler apache-dolphinscheduler-*-bin /usr/apache-dolphinscheduler-3.1.0-bin/tools/libs 里面也需要mysql驱动
210 1
|
9月前
|
Linux 应用服务中间件 nginx
CentOS系统下的软件安装与卸载
CentOS系统中安装及卸载软件,常用yum命令安装及卸载软件包。yum是基于RPM的软件包管理器,可用于在CentOS中安装、更新、查询和移除软件包。yum命令可以从指定服务器下载rpm包并安装,能自动解决依赖问题。
404 78
|
10月前
|
SQL 存储 大数据
Flink 基础详解:大数据处理的强大引擎
Apache Flink 是一个分布式流批一体化的开源平台,专为大规模数据处理设计。它支持实时流处理和批处理,具有高吞吐量、低延迟特性。Flink 提供统一的编程抽象,简化大数据应用开发,并在流处理方面表现卓越,广泛应用于实时监控、金融交易分析等场景。其架构包括 JobManager、TaskManager 和 Client,支持并行度、水位线、时间语义等基础属性。Flink 还提供了丰富的算子、状态管理和容错机制,如检查点和 Savepoint,确保作业的可靠性和一致性。此外,Flink 支持 SQL 查询和 CDC 功能,实现实时数据捕获与同步,广泛应用于数据仓库和实时数据分析领域。
6741 32
|
存储 负载均衡 NoSQL
一文让你搞懂 zookeeper
一文让你搞懂 zookeeper
18400 16
|
SQL 资源调度 分布式计算
Apache DolphinScheduler 【安装部署】
Apache DolphinScheduler 【安装部署】
|
Apache 调度 数据库
Apache DolphinScheduler VS WhaleScheduler
Apache DolphinScheduler VS WhaleScheduler
1394 59