Flink on Yarn编译的Parcels包到CDH集群实录

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 学习一个东西,个人认为最好的方式是:官网+源码+实践Flink官网:http://flink.apache.org

环境需求

组件名称

版本

maven

3.6.3

java

1.8

flink源代码

1.12.4

flink-shaded源代码

1.12

hadoop

3.0.0-cdh6.2.0

scala

2.11.8


环境变量


JDK的安装,参考之前的内容即可,此处主要对Maven进行安装:


下载并解压maven的安装包,然后修改环境变量即可:


vim /etc/profile

export M3_HOME=.../apache-maven-3.6.3  # 配置自己的maven路径

export PATH=$M3_HOME/bin:$M3_HOME:$PATH


source /etc/profile


查看maven安装情况:


mvn --version


Flink源代码下载


从Flink官网,下载源码,选择固定版本。


ae14c1c577de4e268bd5889a78d8284a1506.png


这里解释一下为什么选择Flink-1.12.4版本:


1个是因为从1.10版本之后,添加了很多新的功能,且对FlinkSQL进行了很多优化,而1.12作为今年的一个大版本,其中对各个底层做了很多优化:特别是对Hadoop版本的绑定解除了,这就非常奈斯。而且还有很多的依赖进行了移除,这个基本都是要进行升级的,所以直接选择高版本Flink进行安装是最省事的。


其中,对flink-shaded选择12.0版本即可:


60b1a4b7c9034bc1b4fc3fda0835e1f01506.png


编译过程


1、将flink-shaded解压,并放在flink-1.12.4目录,然后进入flink-shaded-12,修改其中的pom.xml,主要添加CDH的仓库:


<!--添加CDH的仓库-->

   <repositories>

       <repository>

       <id>cloudera</id>

       <url>https://repository.cloudera.com/artifactory/cloudera-repos</url>

       </repository>

   </repositories>


2、编译flink-shaded:


mvn clean install -DskipTests -Dhadoop.version=3.0.0-cdh6.2.0


3、为flink-1.12.4的pom.xml也添加cloudera的仓库;(类似第1步就不放图了);


但是注意,还需要在里面添加haddop和hive的版本信息:


<hadoop.version>3.0.0</hadoop.version>

<hive.version>2.1.1</hive.version>

<hivemetastore.hadoop.version>3.0.0</hivemetastore.hadoop.version>


4、编译flink-1.12.4:


mvn -T2C clean install -DskipTests -Dfast -Pinclude-hadoop -Pvendor-repos -Dhadoop.version=3.0.0-cdh6.2.0 -Dscala-2.11


这一步,可能要进行多次,下载的依赖包也会很多,所以持续时间也比较长。


5、然后将编译好的文件进行打包:


编译好的文件在flink-1.12.4/flink-dist/target/flink-1.12.4-bin/目录下:


tar -zcf flink-1.12.4-bin-scala_2.11.tgz flink-1.12.4/


至此,依赖Scala-2.11和Cloudera的jar包已经编译完成。


制作parcel文件


1、首先,需要确保安装了git(因为要从github下载制作工具);


2、在自己想放的位置,克隆parcel工具目录:


git clone https://github.com/pkeropen/flink-parcel.git


3、然后进入到flink-parcel目录,此时build.sh的权限是-rw-r–r–,所以需要修改其中build.sh的权限:


chmod 755 ./build.sh


4、修改了权限之后,如果是在自己mac则需要增加下面这一步,如果是在阿里云服务器shell下,可以省略:


修改build.sh,删除里面的指定用户和指定用户组,--owner和--group:


fd3e86e03b424befb173572675222c211506.png


5、修改flink-parcel.properties:


#FLINK 下载地址  直接指定自己的本地位置

FLINK_URL=/Users/hiwes/data/flink/flink-parcel/flink-1.12.4-bin-scala_2.11.tgz


#flink版本号

FLINK_VERSION=1.12.4


#扩展版本号

EXTENS_VERSION=BIN-SCALA_2.11


#操作系统版本,以centos为例

OS_VERSION=7


#CDH 小版本

CDH_MIN_FULL=6.1

CDH_MAX_FULL=6.3


#CDH大版本

CDH_MIN=5

CDH_MAX=6


6、将【编译过程】中编译的flink jar包,放在上一步中指定的位置,自行指定。


7、编译parcel:


./build.sh parcel


这个时候,会报错找不到java_home,不要慌,此时需要在下载的工具下的cm_ext目录中,分别修改cm-schema和validator的pom.xml,添加以下内容:


<javadocExecutable>/Library/Java/JavaVirtualMachines/jdk1.8.0_172.jdk/Contents/Home/bin/javadoc</javadocExecutable>


如图所示:


7a8128e3a25f4b0e81d49b7042bc0d471506.png


其中根据自己的JDK位置进行修改,注意指向javadoc的位置。


8、生成csd文件:


./build.sh csd_on_yarn  # 主要使用Flink on yarn,所以这才是需要的操作


./build.sh csd_standalone  # 这是生成standalone包的,所以可以省略


9、此时的生成结果如下:


4f65a35ad9f746c2b51990959eedecc51506.png


10、将这两部分内容,上传到服务器(如果已经是在集群节点上,则直接进行scp传输即可)。


将FLINK_ON_YARN-1.12.4.jar放在CDH目录下:/opt/cloudera/csd


将另外三个文件,放在CDH目录下:/opt/cloudera/parcel-repo


11、此时,重启cm服务:


systemctl restart cloudera-scm-server


Flink下载分发


1、通过下图进入parcel位置:


67afff60ef234775b4b74d9cd1fc0c581506.png


2、对Flink进行分发和激活,最终达到下图要求:


c4589f26328c442b897e8a24ad5650531506.png


部署Flink-yarn服务


1、添加服务:


1349fdeb88914388ada174339a5e8f7a1506.png


2、选择节点:


81924df9e5614e41bd750e96508bfdaa1506.png


3、进行初步配置:


25f11097aca1426c8ec988524b2e6de01506.png


注意其中需要去掉kerberos的设置:


6ed55272bb984e558201cd4e5cb140641506.png


4、继续执行,此时会报错,因为找不到Hadoop和HBase的依赖,此时从配置中添加以下内容:


a6eeba45af9b4c828b81b8ef53f438b71506.png


5、此时重新启动,则完成服务添加。


其他的配置


1、此时在服务器上面,是找不到任何flink命令的,所以需在环境变量中进行配置,这个点可以说是五星级的重要,现在所有的技术贴中都没有提到这一点,原本在21年1月1号之前,Cloudera官网提供parcels包下载之前是可以的,但是现在需要自己编译之后,这一步没办法省略,所有节点都加。


27d126c82bbf4f88843777b63d616c7c1506.png


测试


flink run -m yarn-cluster ./examples/batch/WordCount.jar


生成结果如下:


a43b04a53e4e47ce9ddd82701c9cd5c71506.png


至此,所有安装和初步测试结束。

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
目录
相关文章
|
14天前
|
存储 运维 监控
实时计算Flink版在稳定性、性能、开发运维、安全能力等等跟其他引擎及自建Flink集群比较。
实时计算Flink版在稳定性、性能、开发运维和安全能力等方面表现出色。其自研的高性能状态存储引擎GeminiStateBackend显著提升了作业稳定性,状态管理优化使性能提升40%以上。核心性能较开源Flink提升2-3倍,资源利用率提高100%。提供一站式开发管理、自动化运维和丰富的监控告警功能,支持多语言开发和智能调优。安全方面,具备访问控制、高可用保障和全链路容错能力,确保企业级应用的安全与稳定。
26 0
|
22天前
|
资源调度 分布式计算 大数据
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
57 0
|
24天前
|
Kubernetes Cloud Native 流计算
Flink-12 Flink Java 3分钟上手 Kubernetes云原生下的Flink集群 Rancher Stateful Set yaml详细 扩容缩容部署 Docker容器编排
Flink-12 Flink Java 3分钟上手 Kubernetes云原生下的Flink集群 Rancher Stateful Set yaml详细 扩容缩容部署 Docker容器编排
61 0
|
3月前
|
消息中间件 监控 Java
联通实时计算平台问题之监控Kafka集群的断传和积压情况要如何操作
联通实时计算平台问题之监控Kafka集群的断传和积压情况要如何操作
|
3月前
|
分布式计算 流计算
美团 Flink 大作业部署问题之Checkpoint Replicate Service 跨 HDFS 集群的副本制作是如何实现的
美团 Flink 大作业部署问题之Checkpoint Replicate Service 跨 HDFS 集群的副本制作是如何实现的
|
3月前
|
资源调度 算法 Java
Flink四种集群模式原理
Flink四种集群模式原理
90 0
|
3月前
|
资源调度 Oracle Java
实时计算 Flink版产品使用问题之在YARN集群上运行时,如何查看每个并行度的详细处理数据情况
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
2月前
|
资源调度 分布式计算 Hadoop
YARN(Hadoop操作系统)的架构
本文详细解释了YARN(Hadoop操作系统)的架构,包括其主要组件如ResourceManager、NodeManager和ApplicationMaster的作用以及它们如何协同工作来管理Hadoop集群中的资源和调度作业。
89 3
YARN(Hadoop操作系统)的架构
|
2月前
|
资源调度 分布式计算 Hadoop
使用YARN命令管理Hadoop作业
本文介绍了如何使用YARN命令来管理Hadoop作业,包括查看作业列表、检查作业状态、杀死作业、获取作业日志以及检查节点和队列状态等操作。
44 1
使用YARN命令管理Hadoop作业
|
3月前
|
资源调度 分布式计算 算法
【揭秘Yarn调度秘籍】打破资源分配的枷锁,Hadoop Yarn权重调度全攻略!
【8月更文挑战第24天】在大数据处理领域,Hadoop Yarn 是一种关键的作业调度与集群资源管理工具。它支持多种调度器以适应不同需求,默认采用FIFO调度器,但可通过引入基于权重的调度算法来提高资源利用率。该算法根据作业或用户的权重值决定资源分配比例,权重高的可获得更多计算资源,特别适合多用户共享环境。管理员需在Yarn配置文件中启用特定调度器(如CapacityScheduler),并通过设置队列权重来实现资源的动态调整。合理配置权重有助于避免资源浪费,确保集群高效运行,满足不同用户需求。
46 3