开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

通过api的方式来提交flink任务到yarn集群这种提交方式在官网哪里有人知道吗?

通过api的方式来提交flink任务到yarn集群这种提交方式在官网哪里有人知道吗?

展开
收起
冰激凌甜筒 2023-04-18 16:30:51 195 0
2 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    阿里云实时计算 Flink 通过 API 的方式提交 Flink 任务到 YARN 集群,具体的提交方式和 API 接口可参考官网上的文档说明。以下是一些相关链接:

    1. 实时计算 Flink HTTP API 开发指南:https://help.aliyun.com/document_detail/195187.html
    2. 实时计算 Flink REST API 开发指南:https://help.aliyun.com/document_detail/195188.html
    3. Flink Yarn Session Web UI API 开发指南:https://help.aliyun.com/document_detail/195919.html

    您可以按照需求选择不同的 API 接口进行开发和调用,并根据官网提供的代码示例进行相应的调试和测试。同时,阿里云还提供了开发者中心和技术支持等服务,以便帮助开发者解决相关的问题和提供咨询建议。

    2023-04-30 13:22:01
    赞同 展开评论 打赏
  • 存在即是合理

    Flink 官方文档并没有提供通过 API 提交 Flink 任务到 YARN 集群的具体实现方式。但是,你可以通过以下几种方式来提交 Flink 任务到 YARN 集群:

    1、Flink 作业的 YAML 文件:可以使用 Flink 的 YAML 格式来定义作业,并将作业提交到 YARN 集群。你可以通过以下命令来生成 Flink 作业的 YAML 文件:

    
    bin/flink job --name <your_job_name> --properties <your_job_properties>
    
    

    其中,<your_job_name> 是你的 Flink 作业的名称,<your_job_properties> 是作业的属性配置。 2、 Flink 的 REST API:你可以使用 Flink 的 REST API 来提交 Flink 作业到 YARN 集群。例如,你可以使用以下命令来创建一个 Flink 作业对象并将其提交到 YARN 集群:

    
    curl -X POST \  
      -H "Content-Type: application/json" \  
      -d '{"name": "my_job", "properties": {"yarn.application.class": "yarn.yarn.Application", "yarn.yarn.am.class": "org.apache.yarn.api.records.AMRMClient"}}' \  
      localhost:8080/api/apps/myapp/submit
    
    

    在上面的代码中,myapp 是你的 Flink 作业名称,AMRMClient 是你的 YARN 集群客户端类。

    3、 Flink 的 Flink Job Client:你也可以使用 Flink 的 Flink Job Client 来执行 Flink 作业并将其提交到 YARN 集群。你可以使用以下命令来创建一个 Flink Job Client 对象并将其提交到 YARN 集群:

    
    bin/flink run --class org.apache.flink.streaming.api.functions.source.SourceFunction --name my_job --properties my_job_properties \  
      localhost:8080/job/my_job/submit
    
    

    在上面的代码中,my_job 是你的 Flink 作业名称,my_job_properties 是你的作业属性配置。

    无论你使用哪种方式,提交 Flink 任务到 YARN 集群都需要保证你的 Flink 作业能够被正确地编译和执行。

    2023-04-18 17:26:45
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 热门讨论

    热门文章

    相关电子书

    更多
    深度学习+大数据 TensorFlow on Yarn 立即下载
    Docker on Yarn 微服务实践 立即下载
    深度学习+大数据-TensorFlow on Yarn 立即下载