Flink on Yarn编译的Parcels包到CDH集群实录

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 学习一个东西,个人认为最好的方式是:官网+源码+实践Flink官网:http://flink.apache.org

环境需求

组件名称

版本

maven

3.6.3

java

1.8

flink源代码

1.12.4

flink-shaded源代码

1.12

hadoop

3.0.0-cdh6.2.0

scala

2.11.8


环境变量


JDK的安装,参考之前的内容即可,此处主要对Maven进行安装:


下载并解压maven的安装包,然后修改环境变量即可:


vim /etc/profile

export M3_HOME=.../apache-maven-3.6.3  # 配置自己的maven路径

export PATH=$M3_HOME/bin:$M3_HOME:$PATH


source /etc/profile


查看maven安装情况:


mvn --version


Flink源代码下载


从Flink官网,下载源码,选择固定版本。


ae14c1c577de4e268bd5889a78d8284a1506.png


这里解释一下为什么选择Flink-1.12.4版本:


1个是因为从1.10版本之后,添加了很多新的功能,且对FlinkSQL进行了很多优化,而1.12作为今年的一个大版本,其中对各个底层做了很多优化:特别是对Hadoop版本的绑定解除了,这就非常奈斯。而且还有很多的依赖进行了移除,这个基本都是要进行升级的,所以直接选择高版本Flink进行安装是最省事的。


其中,对flink-shaded选择12.0版本即可:


60b1a4b7c9034bc1b4fc3fda0835e1f01506.png


编译过程


1、将flink-shaded解压,并放在flink-1.12.4目录,然后进入flink-shaded-12,修改其中的pom.xml,主要添加CDH的仓库:


<!--添加CDH的仓库-->

   <repositories>

       <repository>

       <id>cloudera</id>

       <url>https://repository.cloudera.com/artifactory/cloudera-repos</url>

       </repository>

   </repositories>


2、编译flink-shaded:


mvn clean install -DskipTests -Dhadoop.version=3.0.0-cdh6.2.0


3、为flink-1.12.4的pom.xml也添加cloudera的仓库;(类似第1步就不放图了);


但是注意,还需要在里面添加haddop和hive的版本信息:


<hadoop.version>3.0.0</hadoop.version>

<hive.version>2.1.1</hive.version>

<hivemetastore.hadoop.version>3.0.0</hivemetastore.hadoop.version>


4、编译flink-1.12.4:


mvn -T2C clean install -DskipTests -Dfast -Pinclude-hadoop -Pvendor-repos -Dhadoop.version=3.0.0-cdh6.2.0 -Dscala-2.11


这一步,可能要进行多次,下载的依赖包也会很多,所以持续时间也比较长。


5、然后将编译好的文件进行打包:


编译好的文件在flink-1.12.4/flink-dist/target/flink-1.12.4-bin/目录下:


tar -zcf flink-1.12.4-bin-scala_2.11.tgz flink-1.12.4/


至此,依赖Scala-2.11和Cloudera的jar包已经编译完成。


制作parcel文件


1、首先,需要确保安装了git(因为要从github下载制作工具);


2、在自己想放的位置,克隆parcel工具目录:


git clone https://github.com/pkeropen/flink-parcel.git


3、然后进入到flink-parcel目录,此时build.sh的权限是-rw-r–r–,所以需要修改其中build.sh的权限:


chmod 755 ./build.sh


4、修改了权限之后,如果是在自己mac则需要增加下面这一步,如果是在阿里云服务器shell下,可以省略:


修改build.sh,删除里面的指定用户和指定用户组,--owner和--group:


fd3e86e03b424befb173572675222c211506.png


5、修改flink-parcel.properties:


#FLINK 下载地址  直接指定自己的本地位置

FLINK_URL=/Users/hiwes/data/flink/flink-parcel/flink-1.12.4-bin-scala_2.11.tgz


#flink版本号

FLINK_VERSION=1.12.4


#扩展版本号

EXTENS_VERSION=BIN-SCALA_2.11


#操作系统版本,以centos为例

OS_VERSION=7


#CDH 小版本

CDH_MIN_FULL=6.1

CDH_MAX_FULL=6.3


#CDH大版本

CDH_MIN=5

CDH_MAX=6


6、将【编译过程】中编译的flink jar包,放在上一步中指定的位置,自行指定。


7、编译parcel:


./build.sh parcel


这个时候,会报错找不到java_home,不要慌,此时需要在下载的工具下的cm_ext目录中,分别修改cm-schema和validator的pom.xml,添加以下内容:


<javadocExecutable>/Library/Java/JavaVirtualMachines/jdk1.8.0_172.jdk/Contents/Home/bin/javadoc</javadocExecutable>


如图所示:


7a8128e3a25f4b0e81d49b7042bc0d471506.png


其中根据自己的JDK位置进行修改,注意指向javadoc的位置。


8、生成csd文件:


./build.sh csd_on_yarn  # 主要使用Flink on yarn,所以这才是需要的操作


./build.sh csd_standalone  # 这是生成standalone包的,所以可以省略


9、此时的生成结果如下:


4f65a35ad9f746c2b51990959eedecc51506.png


10、将这两部分内容,上传到服务器(如果已经是在集群节点上,则直接进行scp传输即可)。


将FLINK_ON_YARN-1.12.4.jar放在CDH目录下:/opt/cloudera/csd


将另外三个文件,放在CDH目录下:/opt/cloudera/parcel-repo


11、此时,重启cm服务:


systemctl restart cloudera-scm-server


Flink下载分发


1、通过下图进入parcel位置:


67afff60ef234775b4b74d9cd1fc0c581506.png


2、对Flink进行分发和激活,最终达到下图要求:


c4589f26328c442b897e8a24ad5650531506.png


部署Flink-yarn服务


1、添加服务:


1349fdeb88914388ada174339a5e8f7a1506.png


2、选择节点:


81924df9e5614e41bd750e96508bfdaa1506.png


3、进行初步配置:


25f11097aca1426c8ec988524b2e6de01506.png


注意其中需要去掉kerberos的设置:


6ed55272bb984e558201cd4e5cb140641506.png


4、继续执行,此时会报错,因为找不到Hadoop和HBase的依赖,此时从配置中添加以下内容:


a6eeba45af9b4c828b81b8ef53f438b71506.png


5、此时重新启动,则完成服务添加。


其他的配置


1、此时在服务器上面,是找不到任何flink命令的,所以需在环境变量中进行配置,这个点可以说是五星级的重要,现在所有的技术贴中都没有提到这一点,原本在21年1月1号之前,Cloudera官网提供parcels包下载之前是可以的,但是现在需要自己编译之后,这一步没办法省略,所有节点都加。


27d126c82bbf4f88843777b63d616c7c1506.png


测试


flink run -m yarn-cluster ./examples/batch/WordCount.jar


生成结果如下:


a43b04a53e4e47ce9ddd82701c9cd5c71506.png


至此,所有安装和初步测试结束。

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
目录
相关文章
|
18天前
|
消息中间件 资源调度 关系型数据库
如何在Flink on YARN环境中配置Debezium CDC 3.0,以实现实时捕获数据库变更事件并将其传输到Flink进行处理
本文介绍了如何在Flink on YARN环境中配置Debezium CDC 3.0,以实现实时捕获数据库变更事件并将其传输到Flink进行处理。主要内容包括安装Debezium、配置Kafka Connect、创建Flink任务以及启动任务的具体步骤,为构建实时数据管道提供了详细指导。
45 9
zdl
|
11天前
|
消息中间件 运维 大数据
大数据实时计算产品的对比测评:实时计算Flink版 VS 自建Flink集群
本文介绍了实时计算Flink版与自建Flink集群的对比,涵盖部署成本、性能表现、易用性和企业级能力等方面。实时计算Flink版作为全托管服务,显著降低了运维成本,提供了强大的集成能力和弹性扩展,特别适合中小型团队和业务波动大的场景。文中还提出了改进建议,并探讨了与其他产品的联动可能性。总结指出,实时计算Flink版在简化运维、降低成本和提升易用性方面表现出色,是大数据实时计算的优选方案。
zdl
41 0
|
1月前
|
Kubernetes Cloud Native 流计算
Flink-12 Flink Java 3分钟上手 Kubernetes云原生下的Flink集群 Rancher Stateful Set yaml详细 扩容缩容部署 Docker容器编排
Flink-12 Flink Java 3分钟上手 Kubernetes云原生下的Flink集群 Rancher Stateful Set yaml详细 扩容缩容部署 Docker容器编排
76 3
|
1月前
|
存储 运维 监控
实时计算Flink版在稳定性、性能、开发运维、安全能力等等跟其他引擎及自建Flink集群比较。
实时计算Flink版在稳定性、性能、开发运维和安全能力等方面表现出色。其自研的高性能状态存储引擎GeminiStateBackend显著提升了作业稳定性,状态管理优化使性能提升40%以上。核心性能较开源Flink提升2-3倍,资源利用率提高100%。提供一站式开发管理、自动化运维和丰富的监控告警功能,支持多语言开发和智能调优。安全方面,具备访问控制、高可用保障和全链路容错能力,确保企业级应用的安全与稳定。
43 0
|
1月前
|
资源调度 分布式计算 大数据
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
99 0
|
3月前
|
消息中间件 监控 Java
联通实时计算平台问题之监控Kafka集群的断传和积压情况要如何操作
联通实时计算平台问题之监控Kafka集群的断传和积压情况要如何操作
|
3月前
|
分布式计算 流计算
美团 Flink 大作业部署问题之Checkpoint Replicate Service 跨 HDFS 集群的副本制作是如何实现的
美团 Flink 大作业部署问题之Checkpoint Replicate Service 跨 HDFS 集群的副本制作是如何实现的
|
3月前
|
资源调度 算法 Java
Flink四种集群模式原理
Flink四种集群模式原理
113 0
|
2月前
|
资源调度 分布式计算 Hadoop
YARN(Hadoop操作系统)的架构
本文详细解释了YARN(Hadoop操作系统)的架构,包括其主要组件如ResourceManager、NodeManager和ApplicationMaster的作用以及它们如何协同工作来管理Hadoop集群中的资源和调度作业。
140 3
YARN(Hadoop操作系统)的架构
|
2月前
|
资源调度 分布式计算 Hadoop
使用YARN命令管理Hadoop作业
本文介绍了如何使用YARN命令来管理Hadoop作业,包括查看作业列表、检查作业状态、杀死作业、获取作业日志以及检查节点和队列状态等操作。
55 1
使用YARN命令管理Hadoop作业
下一篇
无影云桌面