开发者社区> 问答> 正文

安装dolphinscheduler,其中有2个节点执行不了任务

安装dolphinscheduler3.1.7,集群模式,有3个节点,
节点服务如下:
节点1:master,worker
节点2:master,worker,alertServer
节点3:worker,apiServer

安装目录:installPath=${installPath:-"/opt/dolphinscheduler"}

现在安装成功后,在节点1,节点2执行查询hive的sql任务失败,节点3能成功,同样的jar包,同样的配置,同样的任务,不知道为什么会失败。

其中有个现象是:在节点1,生成的日志文件在/tmp/dolphinscheduler/worker-server下,节点2生成的日志文件在/opt/dolphinscheduler/apache-dolphinscheduler-3.1.7-bin/apache-dolphinscheduler-3.1.7-bin/worker-server下
节点3的生成的日志文件在/opt/dolphinscheduler/worker-server下。

这三个节点生成的日志文件目录为什么会不一样啊,正常来说的配的安装目录是installPath=${installPath:-"/opt/dolphinscheduler"},那么生成的日志文件应该在/opt/dolphinscheduler/worker-server才对,节点3正好是对的,而且执行任务能成功。

请大佬帮忙看下?

展开
收起
游客fuzojzpl5x2bu 2023-07-11 14:14:03 355 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    节点2同时作为alertServer和master,这不被推荐。
    正确的集群模式应该是:

    节点1:master
    节点2:worker
    节点3:worker、alertServer、apiServer
    installPath有冲突风险
    你使用的installPath=/opt/dolphinscheduler,可能会与其他软件产生路径冲突。

    正确的做法是指定一个独立的installPath,如:/opt/software/dolphinscheduler

    worker服务没有正确启动
    节点2和节点3作为worker节点,但似乎执行不了任务。

    可能的原因包括:

    配置文件没有同步
    Zookeeper没有连接上
    环境变量设置错误
    master服务有问题
    master服务可能由于异常而导致scheduling作业失败。

    需要检查master日志,排查问题原因。

    建议你按照正确的集群部署方式:

    将alertServer单独部署
    选择独立的installPath
    校验worker和master服务是否正常
    检查配置文件和环境变量
    联系官方技术支持获取帮助

    2023-07-12 09:02:10
    赞同 展开评论 打赏
  • 关于日志文件目录的问题,可能是由于配置文件中的路径设置不正确导致的。你可以检查 DolphinScheduler 的配置文件,确保 log.path 参数设置为 /opt/dolphinscheduler/worker-server。这个参数指定了日志文件的输出目录。

    对于任务执行失败的问题,可能是由不同的配置或环境引起的。以下是一些可能导致任务在节点1和节点2上失败的原因:

    1. 节点1和节点2的Master是否正常运行:请确保节点1和节点2上的Master服务都已成功启动,并且状态正常。

    2. 节点1和节点2上的Worker是否正常运行:请确保节点1和节点2上的Worker服务都已成功启动,并且状态正常。

    3. 配置文件是否正确:请检查节点1和节点2上的配置文件,确保其中的 Hive 相关配置项(如Hive JDBC 连接URL、用户名、密码等)正确。

    4. Hive 配置是否一致:请确保节点1和节点2上的 Hive 配置(如Hive版本、授权等)一致,以及必要的 Hive 依赖是否已正确安装。

    如果以上步骤都检查过并没有找到问题,你可以查看 DolphinScheduler 的日志文件,查找更详细的错误信息以帮助定位问题。

    2023-07-11 16:13:15
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载