dolphinscheduler搭建

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时计算 Flink 版,1000CU*H 3个月
简介: 先根据伪集群来部署、部署中参考非伪集群1、mysql数据库mysql -h主机地址 -u用户名 -p2、查看等less:G、上下按键、ctrl+b、ctrl+f、qfind / -iname '*mysql*'更改目录所有者 chown -R dolphinscheduler:dolphinscheduler apache-dolphinscheduler-*-bin/usr/apache-dolphinscheduler-3.1.0-bin/tools/libs 里面也需要mysql驱动

先根据伪集群来部署、部署中参考非伪集群
1、mysql数据库
mysql -h主机地址 -u用户名 -p
2、查看等
less:G、上下按键、ctrl+b、ctrl+f、q
find / -iname 'mysql'
更改目录所有者 chown -R dolphinscheduler:dolphinscheduler apache-dolphinscheduler--bin
/usr/apache-dolphinscheduler-3.1.0-bin/tools/libs 里面也需要mysql驱动
3、mysql重新给root赋权限 https://blog.csdn.net/code_mzh/article/details/108243683
vim /etc/my.cnf
skip-grant-tables #在[mysqld]下面添加这一行,忽略权限表
systemctl restart mysqld.service
mysql -uroot -p回车登录即可
create user 'root'@'localhost' identified by 'Zcl124816.'; 如果报错用下面方法
flush privileges;刷新配置
create user 'root'@'localhost' identified by 'Zcl124816.';再次报错
drop user 'root'@'localhost';
create user 'root'@'localhost' identified by 'Zcl124816.';
GRANT ALL PRIVILEGES ON
. TO 'root'@'localhost' WITH GRANT OPTION; #赋予所有库所有表操作权限
flush privileges;
vim /etc/my.cnf
skip-grant-tables 去除
systemctl restart mysqld.service
4、清掉重复的sudo免密登录的do账号
vim /etc/sudoers 里面重复的dolphinscheduler ALL=(ALL) NOPASSWD: NOPASSWD: ALL
5、/etc/hosts设置好三台机器的
127.0.0.1 localhost ds3
192.168.126.53 localhost ds3
192.168.126.54 ds4
192.168.126.55 ds5
6、ssh免密(普通用户之间的免密登陆和 使用root 进行免密登陆,基本设置都是一样的,只不过普通用户之间需要修改 .ssh 和 authorized_keys 的权限免密才能生效)
①确认ssh服务已经安装并打开;
②打开文件/etc/ssh/sshd_config,确保以下配置已经添加(如果被"#“注释了就把”#"删除):
AuthorizedKeysFile .ssh/authorized_keys
PubkeyAuthentication yes
③三台机器的/etc/hostname文件中的内容分别是node0、node1、node2;
⑤三台机器上都有非root账号,为了方便操作,这里为三台机器都创建了名为hadoop的账号和群组,创建命令:
groupadd hadoop && useradd -d /home/hadoop -g hadoop -m hadoop
创建完账号后记得用命令passwd初始化hadoop账号的密码;
⑥ 在node0机器上输入ssh hadoop@node1,尝试ssh登录node1,此时由于未配置免密码登录,所以控制台要求输入node1的密码,如下:
准备工作已经完成,接下来开始实战免密码登录配置;
⑦以hadoop账号登录;生成密钥开始!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
⑧输入ssh-keygen -t rsa (分别在服务器执行,不要批量),然后一路回车,顺利生成秘钥文件,如下:
⑨进入目录~/.ssh/可见如下内容:id_rsa id_rsa.pub known_hosts
配置秘钥授权文件
①以hadoop账号登录node0机器;
②生成一个空白文件:touch ~/.ssh/authorized_keys
③将node0自己的公钥放入文件authorized_keys中:
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
④以hadoop账号登录node1机器,执行以下命令,即可将node1的公钥传输到node0机器,文件名为node1.id_rsa.pub:
scp ~/.ssh/id_rsa.pub hadoop@node0:~/.ssh/node1.id_rsa.pub
期间会要求输入node0的hadoop账号的密码,输入后传输完成,在node0的/home/hadoop/.ssh目录下,多了个名为node1.id_rsa.pub的文件;
⑤在node0机器执行以下命令,即可将node1.id_rsa.pub的内容写入authorized_keys文件:
cat ~/.ssh/node1.id_rsa.pub >> ~/.ssh/authorized_keys
此时authorized_keys文件中已经有了node0和node1的公钥;
⑥以hadoop账号登录node2机器,执行以下命令,即可将node2的公钥传输到node0机器,文件名为node2.id_rsa.pub:
scp ~/.ssh/id_rsa.pub hadoop@node0:~/.ssh/node2.id_rsa.pub
期间会要求输入node0的hadoop账号的密码,输入后传输完成,在node0的/home/hadoop/.ssh目录下,多了个名为node2.id_rsa.pub的文件;
⑦在node0机器执行以下命令,即可将node2.id_rsa.pub的内容写入authorized_keys文件:
cat ~/.ssh/node2.id_rsa.pub >> ~/.ssh/authorized_keys
此时authorized_keys文件中已经有了node0、node1、node2的公钥;
同步秘钥授权文件:
①以hadoop账号登录node0机器,执行以下命令将秘钥授权文件同步到node1机器:
scp ~/.ssh/authorized_keys hadoop@node1:~/.ssh/authorized_keys
②以hadoop账号登录node0机器,执行以下命令将秘钥授权文件同步到node2机器:
scp ~/.ssh/authorized_keys hadoop@node2:~/.ssh/authorized_keys
至此,秘钥授权文件已经同步到所有机器,如果前面的所有操作用的是root账号,此时已经可以免密码登录成功了,但是今天我们用的不是root账号,此时在node0输入命令ssh hadoop@node1,却发现依然要求输入node1的hadoop账号的密码,这是因为文件和文件夹权限的问题导致的,接下来解决权限问题;
调整文件夹和文件的权限(三台机器都要执行)
①先调整文件夹~/.ssh的权限:
chmod 700 ~/.ssh
②再调整文件~/.ssh/authorized_keys的权限:
chmod 600 ~/.ssh/authorized_keys
③至此,非root账号的SSH免密码登录配置已经完成,在node0输入命令ssh hadoop@node1试试,如下,顺利登录,不需要输入密码:
ssh hadoop@node1
再去node1、node2机器上试试SSH登录其他机器,发现也能免密码登录;
7、删除免登录
/home/dolphinscheduler/.ssh 里删除三个文件rm

8、使用./zkServer.sh start-foreground启动
设置zk的配置 tickTime=60000
在zkServer.sh搜索 start-foreground在下面"-Dzookeeper.log.file=${ZOO_LOG_FILE}"后面加 "-Dzookeeper.admin.enableServer=false" \ 再用./zkServer.sh start-foreground
通过端口号查进程 netstat -tunlp | grep 端口号 、 然后根据进程号查进程 ps -ef|grep 15522
9、各服务器需要安装mysql客户端(先下载rpm文件再安装,mysql官网选针对centos的Red Hat Enterprise Linux/Oracle Linux\Red Hat Enterprise Linux7/Oracle Linux7 x86,64bit\RPM Package,Client Utilities)
rpm -ivh mysql-community-client-8.0.31-1.el7.x86_64.rpm --nodeps --force

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
目录
相关文章
|
JSON Java 调度
DolphinScheduler教程(03)- 源码分析(三)
DolphinScheduler教程(03)- 源码分析(三)
858 0
|
SQL 资源调度 数据库
数仓学习---14、大数据技术之DolphinScheduler
数仓学习---14、大数据技术之DolphinScheduler
|
分布式计算 关系型数据库 MySQL
DolphinScheduler安装部署
DolphinScheduler安装部署
1506 0
|
前端开发 Java Unix
【NiFi】(二)三分钟搞定 NiFi 安装与简单使用!
【NiFi】(二)三分钟搞定 NiFi 安装与简单使用!
2828 0
【NiFi】(二)三分钟搞定 NiFi 安装与简单使用!
|
SQL Kubernetes 监控
在 k8s 环境中使用 mysql 部署 dolphinscheduler (非 helm 的方式)
在 k8s 环境中使用 mysql 部署 dolphinscheduler (非 helm 的方式)
2460 0
|
Linux 数据安全/隐私保护 Windows
更换(Pypi)pip源到国内镜像
pip国内的一些镜像 阿里云 http://mirrors.aliyun.com/pypi/simple/ 中国科技大学 https://pypi.mirrors.
247112 2
|
弹性计算 DataWorks 安全
成本最高可降40%!揭秘DataWorks资源组的Serverless进化之路
阿里云DataWorks为数据仓库/数据湖/湖仓一体等解决方案提供智能一站式开发治理平台能力。其中在资源组Serverless化方面,DataWorks实现了重大突破,不仅提高了资源利用率与灵活性,还降低了成本。DataWorks通过升级资源组管理模式,解决了传统资源组存在的复杂计费、资源利用率低等问题。Serverless资源组实现了资源的自动管理和分配,确保任务调度效率,并通过统一资源配额管理实现资源的高效利用和平滑扩缩。此外,容器运行时技术保障了数据和任务的安全隔离。Serverless资源组具备通用性强、付费形式灵活、支持运行中扩缩容等优势,有效提升了用户体验与安全性。
602 10
成本最高可降40%!揭秘DataWorks资源组的Serverless进化之路
|
SQL 分布式计算 数据库
离线数仓--大数据技术之DolphinScheduler
离线数仓--大数据技术之DolphinScheduler
1102 2
|
存储 DataWorks 数据处理
dataworks里面的stg层、ods层、dwd层、dws层、是怎么分层的呢?
【8月更文挑战第21天】dataworks里面的stg层、ods层、dwd层、dws层、是怎么分层的呢?
1247 7
|
监控 数据挖掘 大数据
阿里云开源利器:DataX3.0——高效稳定的离线数据同步解决方案
对于需要集成多个数据源进行大数据分析的场景,DataX3.0同样提供了有力的支持。企业可以使用DataX将多个数据源的数据集成到一个统一的数据存储系统中,以便进行后续的数据分析和挖掘工作。这种集成能力有助于提升数据分析的效率和准确性,为企业决策提供有力支持。