yarn-session.sh(开辟资源)+flink run(提交任务) 这种方式是基本不会使用的,所以就不说明了 启动一个一直运行的flink集群 /bin/yarn-session.sh -n 2 -jm 1024 -tm 1024 [-d] 把任务附着到一个已存在的flink yarn session •./bin/yarn-session.sh -id application_1463870264508_0029 •执行任务 •./bin/flink run ./examples/batch/WordCount.jar -input hdfs://hadoop100:9000/LICENSE -output hdfs://hadoop100:9000/wordcount-result.txt 停止任务 【web界面或者命令行执行cancel命令】 复制代码 1.7.2 flink run -m yarn-cluster(开辟资源+提交任务) 启动集群,执行任务 ./bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 ./examples/batch/WordCount.jar 复制代码 这里只要知道yjm就是Yarn JobManager,ytm就是Yarn taskManager即可,还有其它一些相关参数的含义百度可以搜索得到 Options for yarn-cluster mode: -d,--detached 以独立模式运行任务 -m,--jobmanager 连接 JobManager(主)的地址。 使用此标志连接一个不同的 JobManager 在配置中指定的 -yD <property=value> 使用给定属性的值 -yd,--yarndetached 以独立模式运行任务(过期的;用 non-YARN 选项代替) -yh,--yarnhelp Yarn session CLI 的帮助信息 -yid,--yarnapplicationId 用来运行 YARN Session 的 ID -yj,--yarnjar Flink jar 文件的路径 -yjm,--yarnjobManagerMemory JobManager 容器的内存可选单元(默认值: MB) -yn,--yarncontainer 分配 YARN 容器的数量(=TaskManager 的数量) -ynm,--yarnname 给应用程序一个自定义的名字显示在 YARN 上 -yq,--yarnquery 显示 YARN 的可用资源(内存,队列) -yqu,--yarnqueue 指定 YARN 队列 -ys,--yarnslots 每个 TaskManager 的槽位数量 -yst,--yarnstreaming 以流式处理方式启动 Flink -yt,--yarnship 在指定目录中传输文件 (t for transfer) -ytm,--yarntaskManagerMemory 每个 TaskManager 容器的内存可选单元(默认值: MB) -yz,--yarnzookeeperNamespace 用来创建高可用模式的 Zookeeper 的子路径的命名空间。 -ynl,--yarnnodeLabel 指定 YARN 应用程序 YARN 节点标签 复制代码
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。