flink 自制parcels 包集成CDH
jdk1.8 maven:3.6.1 flink:1.13.1 cdh:6.3.2
1、jdk,maven 相关环境安装下载好，并配置环境变量。
2、parcel制作工具下载地址
git clone https://github.com/pkeropen/flink-parcel.git 或者 git clone http://github.com/Git-Charles/flink-parcel.git
完成后会在当前目录生成一个flink-parcel的文件，证明下载成功
3、修改配置文件
cd ./flink-parce vim flink-parcel.properties
#FLINK 下载地址 FLINK_URL=https://dlcdn.apache.org/flink/flink-1.13.2/flink-1.13.2-bin-scala_2.11.tgz FLINK_MD5=6f744825b3ddf8408e9410cbd6b82107 #flink版本号 FLINK_VERSION=1.13.1 #扩展版本号 EXTENS_VERSION=BIN-SCALA_2.11 #操作系统版本，以centos为例 OS_VERSION=7 #CDH 小版本 CDH_MIN_FULL=5.2 CDH_MAX_FULL=6.3.2 #CDH大版本 CDH_MIN=5 CDH_MAX=6
修改build.sh权限
chmod -R 777 build.sh
制作Parcel包执行命令：
bash bulid.sh parcel
当出现以下错误时：
需修改build.sh文件：
作CSD文件执行命令：
bash build.sh csd_standalone
查看Parcel包和csd文件
ll | grep jar ll FLINK-1.13.2-BIN-SCALA_2.12_build/
4、打包：
tar -cvf ./FLINK-1.13.2-BIN-SCALA_2.11.tar ./FLINK-1.13.2-BIN-SCALA_2.11_build/
5、将FLINK-1.13.2-BIN-SCALA_2.11.tar FLINK_ON_YARN-1.13.2.jar下载，这两个包就是目标包
sz FLINK-1.12.0-BIN-SCALA_2.12.tar FLINK_ON_YARN-1.12.0.jar
6、上传到正式环境服务器(局域网yum提供的节点)
集成CM
1.将上传的FLINK-1.13.2-BIN-SCALA_2.11.tar进行解压到/var/www/html
tar -xvf FLINK-1.13.2-BIN-SCALA_2.11.tar -C /var/www/html
2. 重命名
mv FLINK-1.13.2-BIN-SCALA_2.11_build flink cd /var/www/html/flink createrepo .
3.配置局域网flink的yum
cd /etc/yum.repo.d vim ./flink.repo 输入如下内容 [flink] name=flink baseurl=http://yum源ip/flink enabled=1 gpgcheck=0
4.执行命令
yum clean all yum makecache
5.登陆cm
在parcel配置界面添加flink的parcel源 然后进行下载→分配→解压→** 然后登录服务器，将FLINK_ON_YARN-1.12.0.jar上传到cm主节点的/opt/cloudera/csd/目录下（目的是让cm识别） 注：此时在cm添加服务可能无法看到有flink服务，需要重启集群的agent以及cm server 重新启动cm后即可看到flink，并可以执行添加操作了
常见问题
flink启动报错找不到yarn的jar包 官网的说法是flink1.11版本之后的版本都不需要单独编译hadoop的适配包了，只需要配置HADOOP_CLASSPATH=`hadoop classpath`即可，但是我配置后问题也没有解决，只好添加适配包，但经过编译1.12.0版本的shad后，并没有相关的包，所以我采用的是1.10版本的适配包 cd /opt/cloudera/parcels/FLINK/lib/flink/lib rz flink-shaded-hadoop-2-uber-2.7.5-10.0.jar(所有flink节点都需要添加) vim /etc/profile export HADOOP_CLASSPATH=/opt/cloudera/parcels/FLINK/lib/flink/lib source /etc/profile 可能还会报相同的错， 修改配置多重启几次。 添加完成后再重试还会报一个与Kerberos相关的错误，由于我的集群并没有开启Kerberos，所以需要到flink的配置界面中把Kerberos相关的配置删除，完后再重启就能够正常启动了。 启动后flink在cm界面的显示状态为？问题 在cm界面重启cm服务即可解决
集成cdh 部分可参阅：
https://mp.weixin.qq.com/s/47mQ64HbSSxEWVeid8TEsw
