开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink on yarn的部署模式可以配置和开启flink自己的history server吗?

flink on yarn的部署模式可以配置和开启flink自己的history server吗?

展开
收起
wenti 2023-03-15 11:28:22 895 0
2 条回答
写回答
取消 提交回答
  • 需要在 flink-conf.yaml 配置文件中添加以下配置:```js

    开启Flink的历史服务器

    flink.yarn.history-server.enabled: true

    配置Flink历史服务器的地址

    flink.yarn.history-server.address: :

    配置Flink历史服务器的Web UI地址

    flink.yarn.history-server.web.address: :

    2023-03-19 10:03:38
    赞同 展开评论 打赏
  • 存在即是合理

    是的,Apache Flink on YARN 可以配置和启用 Flink 的历史服务器(history server)。

    历史服务器是一个 Web UI 应用程序,用于显示 Flink 作业的运行历史和统计信息。它可以帮助您分析 Flink 作业的性能和故障,并进行故障排除。

    1、要在 Flink on YARN 中配置和启用历史服务器,您需要执行以下步骤:

    
    # 设置历史服务器启用的端口
    historyserver.web.port: 8082
    
    # 设置历史服务器存储历史数据的目录
    historyserver.archive.fs.dir: hdfs:///flink/history
    
    
    

    2、将 Flink 的历史服务器(flink-historyserver)添加到 YARN 的启动脚本中。

    
    
    #启动历史服务器
    ./bin/yarn-session.sh -n 2 -jm 1024m -tm 1024m -s 2 -d \
      -D yarn.application.name=Flink \
      -D yarn.provided.lib.dirs=$HADOOP_HOME/share/hadoop/common/lib,$HADOOP_HOME/share/hadoop/common,$HADOOP_HOME/share/hadoop/hdfs,$HADOOP_HOME/share/hadoop/mapreduce,$HADOOP_HOME/share/hadoop/yarn \
      -D yarn.application.classpath=$($HADOOP_HOME/bin/hadoop classpath --glob) \
      -D yarn.application.master=yarn \
      -D yarn.app.container.log.dir=<LOG_DIR> \
      -D flink.yarn.history-server.address=<HISTORY_SERVER_HOST>:<HISTORY_SERVER_PORT> \
      -D yarn.appMasterEnv.FLINK_CONF_DIR=<FLINK_CONF_DIR> \
      -D yarn.appMasterEnv.FLINK_LOG_DIR=<FLINK_LOG_DIR> \
      -D yarn.appMasterEnv.JAVA_HOME=$JAVA_HOME \
      -D yarn.appMasterEnv.HADOOP_HOME=$HADOOP_HOME \
      -D yarn.appMasterEnv.HADOOP_HDFS_HOME=$HADOOP_HOME \
      -D yarn.appMasterEnv.HADOOP_COMMON_HOME=$HADOOP_HOME \
      -D yarn.appMasterEnv.HADOOP_MAPRED_HOME=$HADOOP_HOME \
      -D yarn.appMasterEnv.HADOOP_YARN_HOME=$HADOOP_HOME \
      -D yarn.appMasterEnv.HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop \
      -D yarn.appMasterEnv.YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop \
      -D yarn.appMasterEnv.HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec \
      -D yarn.appMasterEnv.HADOOP_PREFIX=$HADOOP_HOME \
      -D yarn.appMasterEnv.PATH=$PATH:$HADOOP_HOME/bin:$JAVA_HOME/bin \
      -D yarn.appMasterEnv.CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath --glob) \
      start-history-server
    
    
    

    注意,在上面的命令中,您需要将 <HISTORY_SERVER_HOST> 替换为历史服务器的主机名或 IP 地址,将 <HISTORY_SERVER_PORT> 替换为历史服务器启用的端口号,将 <FLINK_CONF_DIR> 替换为 Flink 配置文件的目录,将 <FLINK_LOG_DIR>

    2023-03-15 18:29:36
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    深度学习+大数据 TensorFlow on Yarn 立即下载
    Docker on Yarn 微服务实践 立即下载
    深度学习+大数据-TensorFlow on Yarn 立即下载