开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

我flink:1.7.2,hdp:3.0+,我用flink on yarn的方式去提交任务帮忙看看?

我flink:1.7.2,hdp:3.0+,我用flink on yarn的方式去提交任务,如果命令行执行参数不携带-d ,任务可以正常提交运行,但是同一时间yarn队列只会执行一个任务,yarn队列我设置的ordering policy为fair,现在是想要去多任务同时进行 好像必须携带-d或者是-yd 但是携带这个参数的时候会出现no filesystem for scheme hdfs这个报错信息?

展开
收起
夹心789 2024-05-28 15:17:22 33 0
1 条回答
写回答
取消 提交回答
  • -d是指用detach模式,把作业直接提交到集群而不用等着它结束。一般不会影响你的作业实际的运行,可以贴下你完整的flink run命令看看。
    关于“no filesystem for scheme hdfs”,需要在运行作业前export HADOOP_CLASSPATH=hadoop classpath,可以检查下log里的classpath。 ,此回答整理自钉群“【②群】Apache Flink China社区”

    2024-05-28 17:54:18
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 热门讨论

    热门文章

    相关电子书

    更多
    深度学习+大数据 TensorFlow on Yarn 立即下载
    Docker on Yarn 微服务实践 立即下载
    深度学习+大数据-TensorFlow on Yarn 立即下载