开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

如何用flink sql客户端用yarn application模式提交任务呢?

如何用flink sql客户端用yarn application模式提交任务呢?

展开
收起
真的很搞笑 2023-09-28 10:36:34 647 0
1 条回答
写回答
取消 提交回答
  • Flink SQL 客户端提供了 yarn-application 命令用于提交任务。以下是使用 yarn-application 命令提交任务的步骤:

    创建一个 flink-conf.yaml 文件,配置 Flink 的相关参数。

    设置 Flink 的运行模式为 yarn application

    execution.mode=yarn-application

    设置 Flink 的 Yarn 参数

    yarn.application.name=flink-sql-job
    yarn.resourcemanager.address=rm1:8032
    yarn.resourcemanager.scheduler.address=rm1:8030

    设置 Flink 的 TaskManager 数量

    jobmanager.taskmanager.number=1

    设置 Flink 的 JobManager 资源

    jobmanager.memory.mb=1024
    jobmanager.cores=1

    设置 Flink 的 TaskManager 资源

    taskmanager.memory.mb=1024
    taskmanager.cores=1
    创建一个 flink-sql-job.sql 文件,编写 SQL 语句。
    SELECT * FROM orders;
    使用 flink sql yarn-application 命令提交任务。
    flink sql yarn-application -c /path/to/flink-conf.yaml -s /path/to/flink-sql-job.sql
    查看 Flink 的 Web UI 页面,可以看到任务的运行状态。
    http://localhost:8080/jobs

    2023-10-18 10:18:12
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    SQL Server在电子商务中的应用与实践 立即下载
    GeoMesa on Spark SQL 立即下载
    原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili 立即下载