大数据平台搭建（容器环境）——Flink on Yarn安装配置

Flink on Yarn安装配置

一、解压

1. 将Flink包解压到路径/opt/module路径中

tar -zxvf /opt/software/flink-1.14.0-bin-scala_2.12.tgz -C /opt/module/

2. 改名（可不做）

mv flink-1.14.0/ flink-yarn

二、配置

1.修改环境配置变量

vi /etc/profile

添加内容：

#FLINK_HOME
export FLINK_HOME=/opt/module/flink-yarn
export PATH=$PATH:$FLINK_HOME/bin
export HADOOP_CLASSPATH=`hadoop classpath`
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

2. 验证

在容器中/opt目录下运行命令flink --version

三、任务

开启Hadoop集群，在yarn上以per job模式（即Job分离模式，不采用Session模式）运行 $FLINK_HOME/examples/batch/WordCount.jar

1. 修改文件

1. 在flink-conf.yaml添加classloader.check-leaked-classloader: false
2. 运行命令：flink run -m yarn-cluster -p 2 -yjm 2G -ytm 2G $FLINK_HOME/examples/batch/WordCount.jar

**