环境篇之 flink 的 HA 部署|学习笔记

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
云原生网关 MSE Higress,422元/月
注册配置 MSE Nacos/ZooKeeper,118元/月
简介: 快速学习环境篇之 flink 的 HA 部署

开发者学堂课程【大数据 Flink 实时旅游平台环境篇 2020版:环境篇之 flink 的 HA部署】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/643/detail/10708


环境篇之 flink 的 HA 部署

内容介绍:

一、解压

二、配置环境变量

三、分发并修改


一、解压

首先解压

将本机上的软件

flink-1.9.1-bin-scala_2.11.tgz

和flink-shaded-hadoop-2.uber-2.7.5-10.0.jar拖到服务器中

启动后登录用户,再输入

tar -zxvf /home/flink-1.9.1-bin-scala_2.11.tgz -C/usr /local/

解压完后输入

ll

cd /usr/local/flink-1.9.1/

进行查看


二、配置环境变量

接着配置环境变量

输入vi /etc/profile

进入后追加如下内容,输入

export FLINK_HOME=/usr /local/flink-1.9.1/

显示 exportPATH=$PATH:$JAVA_HOME/bin:$ZK_HOME/bin:SHADOOP_HOME/bin:$HADOOP_HOME/sbin:SKAFKA_HOME/bin:  

在后面添加 $FLINK_HOME/bin

环境变量配置好后刷新环境变量:输入

source /etc/profile

which flink

结果显示 /usr/local/flink-1.9.1/bin/flink

配置

最主要的配置是./conf/flink-conf.yaml (hadoop02去修改对应ip即可)

继续输入rm -rf ./conf/flink-conf.yaml  

vi ./conf/flink-conf.yaml  

之后复制输入下列内容

# Common

#==========================================================

#jobmanager.rpc.address:hadoop01 HA 模式不用

# The RPC port where the JobManager is reachable.

jobmanager.rpc.port:6123    

#The heap size for the JobManager JVM

jobmanager.heap.size:1024m     //jobmanager 内存大小

#The heap size for the JobManager JVM

taskmanager.heap.size:1024m   //taskmanager 内存大小

#==========================================================

# Rest &web frontend

#==========================================================

# The port to which the REST client connects to. If rest.bind-port has

# not been specified,then the server will bind to this port as well.

#

rest.port: 8081   //rest 访问端口

# The address to which the REST client will connect to

#

rest.address : hadoop01   //rest 访问地址

# HA settings  //核心配置,上面内容为基础配置

high-availability: zookeeper

high-availability.zookeeper.quorum:hadoop01:2181,hadoop02:2181,hadoop03:2181   //zookeeper 地址

high-availability.zookeeper.path.root: /flink   //zookeeper根目录

high-availability.cluster-id: /cluster_flink  //cluster的id

high-availability.storageDir: hdfs : / /hadoop01:9000/flink/recovery   //集群的存储目录

以上配置完后再输入

vi./conf/slaves

进入后输入

hadoop01

hadoop02

hadoop03

再输入vi./conf/masters

进入后输入

hadoop01:8081

hadoop02:8081

保存后,以上就配置完成


三、分发并修改

再来分发并修改 hadoop02 和 hadoop03 节点的 ip 或者主机名

分发: 输入:

scp -r /etc/profile hadoop02 :/etc

结果显示 profile,再输入

scp -r /etc/profile hadoop03 :/etc

结果显示 profile

再分发包:输入

scp -r ../flink-1.9.1/ hadoop02 :/usr/local/

scp -r ../flink-1.9.1/ hadoop03:/usr/local/

分发完后进行修改,在另外两个端口都输入

source /etc/profile

source /etc/profile

再都输入

cd /usr/local/flink-1.9.1

vi ./conf/flink-conf .yaml

进入后找到 rest.address:hadoop01 改为

rest.address:hadoop02

另一个端口改为03

以上保存好后可以测试是否存在问题,输入

which flink

结果显示 /usr/local/flink-1.9.1/bin/flink 没有问题

以上内容就是安装配置

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
11月前
|
弹性计算 资源调度 Kubernetes
Flink三种集群模式,Standalone模式,Flink On YARN,Flink On K8S,这三种模式有啥优缺点,生产环境如何选择呢?
Flink三种集群模式,Standalone模式,Flink On YARN,Flink On K8S,这三种模式有啥优缺点,生产环境如何选择呢?
939 3
|
分布式计算 资源调度 Hadoop
Flink安装部署{单机模式、会话模式(集群部署)、yarn模式(包含hadoop3.1.3部署)}
Flink安装部署{单机模式、会话模式(集群部署)、yarn模式(包含hadoop3.1.3部署)}
471 0
|
3月前
|
资源调度 算法 Java
Flink四种集群模式原理
Flink四种集群模式原理
99 0
|
资源调度 Kubernetes Java
Flink--2、Flink部署(Yarn集群搭建下的会话模式部署、单作业模式部署、应用模式部署)
Flink--2、Flink部署(Yarn集群搭建下的会话模式部署、单作业模式部署、应用模式部署)
|
6月前
|
资源调度 Kubernetes Java
Flink--day02、Flink部署(Yarn集群搭建下的会话模式部署、单作业模式部署、应用模式部署)
Flink--day022、Flink部署(Yarn集群搭建下的会话模式部署、单作业模式部署、应用模式部署)
369 5
|
6月前
|
分布式计算 网络安全 流计算
Flink【环境搭建 01】(flink-1.9.3 集群版安装、配置、验证)
【2月更文挑战第15天】Flink【环境搭建 01】(flink-1.9.3 集群版安装、配置、验证)
465 0
|
6月前
|
消息中间件 SQL 关系型数据库
flink cdc生产环境的高可用部署架构图?
flink cdc生产环境的高可用部署架构图?
284 1
|
存储 分布式计算 资源调度
搭建Flink集群、集群HA高可用以及配置历史服务器
本文介绍了如何搭建一个Flink集群、Flink集群HA高可用,并配置历史服务器以记录Job任务执行的详细信息和状态。
375 1
|
资源调度 分布式计算 Hadoop
Flink 集群安装部署和 HA 配置
我们在这一课时将讲解 Flink 常见的部署模式:本地模式、Standalone 模式和 Flink On Yarn 模式,然后分别讲解三种模式的使用场景和部署中常见的问题,最后将讲解在生产环境中 Flink 集群的高可用配置。
3668 0
Flink 集群安装部署和 HA 配置
|
分布式计算 Java 网络安全
Flink独立集群部署和HA部署
场景描述 172.19.9.202 主节点 JobManager 主/从 172.19.9.201 从节点 TaskManager 主/从 172.19.9.203 从节点 TaskManager 主/从
250 0
下一篇
无影云桌面