安装dolphinscheduler3.1.7,集群模式,有3个节点,
节点服务如下:
节点1:master,worker
节点2:master,worker,alertServer
节点3:worker,apiServer
安装目录:installPath=${installPath:-"/opt/dolphinscheduler"}
现在安装成功后,在节点1,节点2执行查询hive的sql任务失败,节点3能成功,同样的jar包,同样的配置,同样的任务,不知道为什么会失败。
其中有个现象是:在节点1,生成的日志文件在/tmp/dolphinscheduler/worker-server下,节点2生成的日志文件在/opt/dolphinscheduler/apache-dolphinscheduler-3.1.7-bin/apache-dolphinscheduler-3.1.7-bin/worker-server下
节点3的生成的日志文件在/opt/dolphinscheduler/worker-server下。
这三个节点生成的日志文件目录为什么会不一样啊,正常来说的配的安装目录是installPath=${installPath:-"/opt/dolphinscheduler"},那么生成的日志文件应该在/opt/dolphinscheduler/worker-server才对,节点3正好是对的,而且执行任务能成功。
请大佬帮忙看下?
节点2同时作为alertServer和master,这不被推荐。
正确的集群模式应该是:
节点1:master
节点2:worker
节点3:worker、alertServer、apiServer
installPath有冲突风险
你使用的installPath=/opt/dolphinscheduler,可能会与其他软件产生路径冲突。
正确的做法是指定一个独立的installPath,如:/opt/software/dolphinscheduler
worker服务没有正确启动
节点2和节点3作为worker节点,但似乎执行不了任务。
可能的原因包括:
配置文件没有同步
Zookeeper没有连接上
环境变量设置错误
master服务有问题
master服务可能由于异常而导致scheduling作业失败。
需要检查master日志,排查问题原因。
建议你按照正确的集群部署方式:
将alertServer单独部署
选择独立的installPath
校验worker和master服务是否正常
检查配置文件和环境变量
联系官方技术支持获取帮助
关于日志文件目录的问题,可能是由于配置文件中的路径设置不正确导致的。你可以检查 DolphinScheduler 的配置文件,确保 log.path
参数设置为 /opt/dolphinscheduler/worker-server
。这个参数指定了日志文件的输出目录。
对于任务执行失败的问题,可能是由不同的配置或环境引起的。以下是一些可能导致任务在节点1和节点2上失败的原因:
节点1和节点2的Master是否正常运行:请确保节点1和节点2上的Master服务都已成功启动,并且状态正常。
节点1和节点2上的Worker是否正常运行:请确保节点1和节点2上的Worker服务都已成功启动,并且状态正常。
配置文件是否正确:请检查节点1和节点2上的配置文件,确保其中的 Hive 相关配置项(如Hive JDBC 连接URL、用户名、密码等)正确。
Hive 配置是否一致:请确保节点1和节点2上的 Hive 配置(如Hive版本、授权等)一致,以及必要的 Hive 依赖是否已正确安装。
如果以上步骤都检查过并没有找到问题,你可以查看 DolphinScheduler 的日志文件,查找更详细的错误信息以帮助定位问题。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。