开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink中通过api的方式来提交flink任务到yarn集群这种提交方式在官网哪里有人知道吗?

通过api的方式来提交flink任务到yarn集群这种提交方式在官网哪里有人知道吗?

展开
收起
圆葱猪肉包 2023-04-19 16:42:58 317 0
2 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    如果您想在阿里云实时计算 Flink版中,通过 API 的方式提交 Flink 任务到 YARN 集群,请按照以下步骤操作:

    1. 确认您已经在阿里云实时计算 Flink版中创建了 YARN 集群和 Flink 集群,并且这两个集群已经正确地配置和启动。

    2. 使用 Flink REST API 提交作业,可以通过以下命令:

    curl -XPOST http://<flink-rest-server>:8081//jars/<jarid>?entry-class=<entryclass>&program-args=<args>&savepoint-path=<savepoint-path>&allowNonRestoredState=<allowNonRestoredState>
    

    其中:

    • <flink-rest-server> 是 Flink REST Server 的地址;
    • <jarid> 是要提交的程序包的 ID;
    • <entryclass> 是程序包的主类;
    • <args> 是要传递给程序包的参数;
    • <savepoint-path> 是可选的,表示要恢复作业的保存点路径;如果省略,则表示不进行保存点恢复;
    • <allowNonRestoredState> 是可选的,表示是否允许非恢复状态的提交(即初始状态),默认为 false。

    需要注意的是,您需要对命令中的参数进行相应的替换,其中 <flink-rest-server><jarid> 需要根据您自己的环境来指定。

    1. 如果您需要在 Flink 应用中使用 YARN 的资源管理器,请确保您已正确配置 YARN 环境,并在应用程序中进行相关配置。具体方式请参考 Flink 官方文档。
    2023-04-30 22:57:26
    赞同 展开评论 打赏
  • 全栈JAVA领域创作者

    Flink 提交到 YARN 集群的方式主要有两种,一种是通过命令行工具 flink-yarn.sh 进行提交,另一种是通过 Flink 的 Java API 进行提交。

    关于通过 Java API 提交 Flink 任务到 YARN 集群的方式,你可以在 Flink 官方文档中找到详细的说明。具体而言,可以查看以下文档:

    Submitting Applications on YARN:该文档介绍了如何使用 Flink 的 Java API 在 YARN 上提交应用程序,并提供了详细的示例代码。 YARN Client:该文档介绍了如何使用 Flink YARN client 类库来构建和配置 Flink 应用程序,并通过 Java API 将其提交到 YARN 集群中运行。 在这些文档中,你可以了解到如何使用 YarnClusterDescriptor 和 YarnClientFactory 类来构建 Flink 应用程序,并如何设置应用程序的运行参数、资源需求等信息。此外,还会介绍如何将应用程序打包成可执行的 jar 包,并将其提交到 YARN 集群中运行。

    2023-04-21 11:18:36
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载