环境篇之 flink 的 HA 部署|学习笔记

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
注册配置 MSE Nacos/ZooKeeper,118元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 快速学习环境篇之 flink 的 HA 部署

开发者学堂课程【大数据 Flink 实时旅游平台环境篇 2020版:环境篇之 flink 的 HA部署】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/643/detail/10708


环境篇之 flink 的 HA 部署

内容介绍:

一、解压

二、配置环境变量

三、分发并修改


一、解压

首先解压

将本机上的软件

flink-1.9.1-bin-scala_2.11.tgz

和flink-shaded-hadoop-2.uber-2.7.5-10.0.jar拖到服务器中

启动后登录用户,再输入

tar -zxvf /home/flink-1.9.1-bin-scala_2.11.tgz -C/usr /local/

解压完后输入

ll

cd /usr/local/flink-1.9.1/

进行查看


二、配置环境变量

接着配置环境变量

输入vi /etc/profile

进入后追加如下内容,输入

export FLINK_HOME=/usr /local/flink-1.9.1/

显示 exportPATH=$PATH:$JAVA_HOME/bin:$ZK_HOME/bin:SHADOOP_HOME/bin:$HADOOP_HOME/sbin:SKAFKA_HOME/bin:  

在后面添加 $FLINK_HOME/bin

环境变量配置好后刷新环境变量:输入

source /etc/profile

which flink

结果显示 /usr/local/flink-1.9.1/bin/flink

配置

最主要的配置是./conf/flink-conf.yaml (hadoop02去修改对应ip即可)

继续输入rm -rf ./conf/flink-conf.yaml  

vi ./conf/flink-conf.yaml  

之后复制输入下列内容

# Common

#==========================================================

#jobmanager.rpc.address:hadoop01 HA 模式不用

# The RPC port where the JobManager is reachable.

jobmanager.rpc.port:6123    

#The heap size for the JobManager JVM

jobmanager.heap.size:1024m     //jobmanager 内存大小

#The heap size for the JobManager JVM

taskmanager.heap.size:1024m   //taskmanager 内存大小

#==========================================================

# Rest &web frontend

#==========================================================

# The port to which the REST client connects to. If rest.bind-port has

# not been specified,then the server will bind to this port as well.

#

rest.port: 8081   //rest 访问端口

# The address to which the REST client will connect to

#

rest.address : hadoop01   //rest 访问地址

# HA settings  //核心配置,上面内容为基础配置

high-availability: zookeeper

high-availability.zookeeper.quorum:hadoop01:2181,hadoop02:2181,hadoop03:2181   //zookeeper 地址

high-availability.zookeeper.path.root: /flink   //zookeeper根目录

high-availability.cluster-id: /cluster_flink  //cluster的id

high-availability.storageDir: hdfs : / /hadoop01:9000/flink/recovery   //集群的存储目录

以上配置完后再输入

vi./conf/slaves

进入后输入

hadoop01

hadoop02

hadoop03

再输入vi./conf/masters

进入后输入

hadoop01:8081

hadoop02:8081

保存后,以上就配置完成


三、分发并修改

再来分发并修改 hadoop02 和 hadoop03 节点的 ip 或者主机名

分发: 输入:

scp -r /etc/profile hadoop02 :/etc

结果显示 profile,再输入

scp -r /etc/profile hadoop03 :/etc

结果显示 profile

再分发包:输入

scp -r ../flink-1.9.1/ hadoop02 :/usr/local/

scp -r ../flink-1.9.1/ hadoop03:/usr/local/

分发完后进行修改,在另外两个端口都输入

source /etc/profile

source /etc/profile

再都输入

cd /usr/local/flink-1.9.1

vi ./conf/flink-conf .yaml

进入后找到 rest.address:hadoop01 改为

rest.address:hadoop02

另一个端口改为03

以上保存好后可以测试是否存在问题,输入

which flink

结果显示 /usr/local/flink-1.9.1/bin/flink 没有问题

以上内容就是安装配置

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
1月前
|
消息中间件 资源调度 关系型数据库
如何在Flink on YARN环境中配置Debezium CDC 3.0,以实现实时捕获数据库变更事件并将其传输到Flink进行处理
本文介绍了如何在Flink on YARN环境中配置Debezium CDC 3.0,以实现实时捕获数据库变更事件并将其传输到Flink进行处理。主要内容包括安装Debezium、配置Kafka Connect、创建Flink任务以及启动任务的具体步骤,为构建实时数据管道提供了详细指导。
95 9
|
2月前
|
Kubernetes Cloud Native 流计算
Flink-12 Flink Java 3分钟上手 Kubernetes云原生下的Flink集群 Rancher Stateful Set yaml详细 扩容缩容部署 Docker容器编排
Flink-12 Flink Java 3分钟上手 Kubernetes云原生下的Flink集群 Rancher Stateful Set yaml详细 扩容缩容部署 Docker容器编排
93 3
|
2月前
|
资源调度 分布式计算 大数据
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
128 0
|
4月前
|
机器学习/深度学习 人工智能 运维
美团 Flink 大作业部署问题之Flink在生态技术演进上有什么主要方向
美团 Flink 大作业部署问题之Flink在生态技术演进上有什么主要方向
|
4月前
|
监控 Serverless Apache
美团 Flink 大作业部署问题之如何体现Flink在业界的影响力
美团 Flink 大作业部署问题之如何体现Flink在业界的影响力
|
4月前
|
监控 Serverless 数据库
美团 Flink 大作业部署问题之端云联调并将流量恢复到云端实例如何结束
美团 Flink 大作业部署问题之端云联调并将流量恢复到云端实例如何结束
|
4月前
|
监控 Java Serverless
美团 Flink 大作业部署问题之想在Serverless平台上实时查看Spring Boot应用的日志要怎么操作
美团 Flink 大作业部署问题之想在Serverless平台上实时查看Spring Boot应用的日志要怎么操作
|
4月前
|
Java 流计算
美团 Flink 大作业部署问题之files-to-delete 的执行为什么能够异步进行呢
美团 Flink 大作业部署问题之files-to-delete 的执行为什么能够异步进行呢
|
4月前
|
缓存 流计算
美团 Flink 大作业部署问题之根据已存在的 Checkpoint 副本进行增量的副本制作如何实现
美团 Flink 大作业部署问题之根据已存在的 Checkpoint 副本进行增量的副本制作如何实现
|
4月前
|
分布式计算 流计算
美团 Flink 大作业部署问题之Checkpoint Replicate Service 跨 HDFS 集群的副本制作是如何实现的
美团 Flink 大作业部署问题之Checkpoint Replicate Service 跨 HDFS 集群的副本制作是如何实现的