开发者社区> 问答> 正文

Flink 不同模式的任务提交应该怎么弄?

Flink 不同模式的任务提交应该怎么弄?

展开
收起
游客ahv54x37wvm7u 2021-12-07 19:57:35 371 0
1 条回答
写回答
取消 提交回答
  • yarn-session.sh(开辟资源)+flink run(提交任务) 这种方式是基本不会使用的,所以就不说明了 启动一个一直运行的flink集群 /bin/yarn-session.sh -n 2 -jm 1024 -tm 1024 [-d] 把任务附着到一个已存在的flink yarn session •./bin/yarn-session.sh -id application_1463870264508_0029 •执行任务 •./bin/flink run ./examples/batch/WordCount.jar -input hdfs://hadoop100:9000/LICENSE -output hdfs://hadoop100:9000/wordcount-result.txt 停止任务 【web界面或者命令行执行cancel命令】 复制代码 1.7.2 flink run -m yarn-cluster(开辟资源+提交任务) 启动集群,执行任务 ./bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 ./examples/batch/WordCount.jar 复制代码 这里只要知道yjm就是Yarn JobManager,ytm就是Yarn taskManager即可,还有其它一些相关参数的含义百度可以搜索得到 Options for yarn-cluster mode: -d,--detached 以独立模式运行任务 -m,--jobmanager 连接 JobManager(主)的地址。 使用此标志连接一个不同的 JobManager 在配置中指定的 -yD <property=value> 使用给定属性的值 -yd,--yarndetached 以独立模式运行任务(过期的;用 non-YARN 选项代替) -yh,--yarnhelp Yarn session CLI 的帮助信息 -yid,--yarnapplicationId 用来运行 YARN Session 的 ID -yj,--yarnjar Flink jar 文件的路径 -yjm,--yarnjobManagerMemory JobManager 容器的内存可选单元(默认值: MB) -yn,--yarncontainer 分配 YARN 容器的数量(=TaskManager 的数量) -ynm,--yarnname 给应用程序一个自定义的名字显示在 YARN 上 -yq,--yarnquery 显示 YARN 的可用资源(内存,队列) -yqu,--yarnqueue 指定 YARN 队列 -ys,--yarnslots 每个 TaskManager 的槽位数量 -yst,--yarnstreaming 以流式处理方式启动 Flink -yt,--yarnship 在指定目录中传输文件 (t for transfer) -ytm,--yarntaskManagerMemory 每个 TaskManager 容器的内存可选单元(默认值: MB) -yz,--yarnzookeeperNamespace 用来创建高可用模式的 Zookeeper 的子路径的命名空间。 -ynl,--yarnnodeLabel 指定 YARN 应用程序 YARN 节点标签 复制代码

    2021-12-07 19:58:06
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载