环境篇之 flink 的 HA 部署|学习笔记

本文涉及的产品
实时计算 Flink 版,1000CU*H 3个月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
注册配置 MSE Nacos/ZooKeeper,182元/月
简介: 快速学习环境篇之 flink 的 HA 部署

开发者学堂课程【大数据 Flink 实时旅游平台环境篇 2020版:环境篇之 flink 的 HA部署】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/643/detail/10708


环境篇之 flink 的 HA 部署

内容介绍:

一、解压

二、配置环境变量

三、分发并修改


一、解压

首先解压

将本机上的软件

flink-1.9.1-bin-scala_2.11.tgz

和flink-shaded-hadoop-2.uber-2.7.5-10.0.jar拖到服务器中

启动后登录用户,再输入

tar -zxvf /home/flink-1.9.1-bin-scala_2.11.tgz -C/usr /local/

解压完后输入

ll

cd /usr/local/flink-1.9.1/

进行查看


二、配置环境变量

接着配置环境变量

输入vi /etc/profile

进入后追加如下内容,输入

export FLINK_HOME=/usr /local/flink-1.9.1/

显示 exportPATH=$PATH:$JAVA_HOME/bin:$ZK_HOME/bin:SHADOOP_HOME/bin:$HADOOP_HOME/sbin:SKAFKA_HOME/bin:  

在后面添加 $FLINK_HOME/bin

环境变量配置好后刷新环境变量:输入

source /etc/profile

which flink

结果显示 /usr/local/flink-1.9.1/bin/flink

配置

最主要的配置是./conf/flink-conf.yaml (hadoop02去修改对应ip即可)

继续输入rm -rf ./conf/flink-conf.yaml  

vi ./conf/flink-conf.yaml  

之后复制输入下列内容

# Common

#==========================================================

#jobmanager.rpc.address:hadoop01 HA 模式不用

# The RPC port where the JobManager is reachable.

jobmanager.rpc.port:6123    

#The heap size for the JobManager JVM

jobmanager.heap.size:1024m     //jobmanager 内存大小

#The heap size for the JobManager JVM

taskmanager.heap.size:1024m   //taskmanager 内存大小

#==========================================================

# Rest &web frontend

#==========================================================

# The port to which the REST client connects to. If rest.bind-port has

# not been specified,then the server will bind to this port as well.

#

rest.port: 8081   //rest 访问端口

# The address to which the REST client will connect to

#

rest.address : hadoop01   //rest 访问地址

# HA settings  //核心配置,上面内容为基础配置

high-availability: zookeeper

high-availability.zookeeper.quorum:hadoop01:2181,hadoop02:2181,hadoop03:2181   //zookeeper 地址

high-availability.zookeeper.path.root: /flink   //zookeeper根目录

high-availability.cluster-id: /cluster_flink  //cluster的id

high-availability.storageDir: hdfs : / /hadoop01:9000/flink/recovery   //集群的存储目录

以上配置完后再输入

vi./conf/slaves

进入后输入

hadoop01

hadoop02

hadoop03

再输入vi./conf/masters

进入后输入

hadoop01:8081

hadoop02:8081

保存后,以上就配置完成


三、分发并修改

再来分发并修改 hadoop02 和 hadoop03 节点的 ip 或者主机名

分发: 输入:

scp -r /etc/profile hadoop02 :/etc

结果显示 profile,再输入

scp -r /etc/profile hadoop03 :/etc

结果显示 profile

再分发包:输入

scp -r ../flink-1.9.1/ hadoop02 :/usr/local/

scp -r ../flink-1.9.1/ hadoop03:/usr/local/

分发完后进行修改,在另外两个端口都输入

source /etc/profile

source /etc/profile

再都输入

cd /usr/local/flink-1.9.1

vi ./conf/flink-conf .yaml

进入后找到 rest.address:hadoop01 改为

rest.address:hadoop02

另一个端口改为03

以上保存好后可以测试是否存在问题,输入

which flink

结果显示 /usr/local/flink-1.9.1/bin/flink 没有问题

以上内容就是安装配置

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
模块功能提高可读性
模块功能提高可读性
128 4
|
12月前
|
数据采集 算法 5G
基于稀疏CoSaMP算法的大规模MIMO信道估计matlab性能仿真,对比LS,OMP,MOMP,CoSaMP
该研究采用MATLAB 2022a仿真大规模MIMO系统中的信道估计,利用压缩感知技术克服传统方法的高开销问题。在稀疏信号恢复理论基础上,通过CoSaMP等算法实现高效信道估计。核心程序对比了LS、OMP、NOMP及CoSaMP等多种算法的均方误差(MSE),验证其在不同信噪比下的性能。仿真结果显示,稀疏CoSaMP表现优异。
178 2
|
Java 微服务
SpringBoot整合SMS短信服务
本文介绍了如何在SpringBoot项目中整合阿里云SMS短信服务,包括添加依赖、配置文件、配置类、服务层接口和实现类,以及控制器层的实现,用于发送短信验证码。
SpringBoot整合SMS短信服务
R语言朴素贝叶斯Naive Bayes分类Iris鸢尾花和HairEyeColor学生性别和眼睛头发颜色数据
R语言朴素贝叶斯Naive Bayes分类Iris鸢尾花和HairEyeColor学生性别和眼睛头发颜色数据
|
存储 Java 编译器
详谈一下:Java中的基本类型变量(8种)与引用类型变量的区别
详谈一下:Java中的基本类型变量(8种)与引用类型变量的区别
374 0
详谈一下:Java中的基本类型变量(8种)与引用类型变量的区别
|
存储 大数据 关系型数据库
从阿里核心场景看实时数仓的发展趋势
随着2021年双11的完美落幕,实时数仓技术在阿里双11场景也经历了多年的实践和发展。从早期的基于不同作业的烟囱式开发,到基于领域分层建模的数仓引入,再到分析服务一体化的新型融合式一站式架构,开发效率逐步提升,数据质量更有保证,也沉淀了更多技术创新,让我们看到了一些未来数仓开发、应用的可能性和趋势。下面我们来聊聊从阿里双11看到的实时数仓发展的一些趋势。
从阿里核心场景看实时数仓的发展趋势
|
固态存储 算法 内存技术
腾讯2021sigmod论文Spitfire分析
腾讯2021sigmod论文Spitfire分析
227 0
|
数据采集 传感器 架构师
谈谈数据资产管理晓知识
数据是组织的一种战略性商业资产,也是组织拥有的最有价值的资源之一。但它的价值取决于质量、相关性和范围。
谈谈数据资产管理晓知识
|
负载均衡 Java API
定时任务方案大百科(下)
节前有更新一篇定时任务的相关文章《延时消息之时间轮》,有朋友提出希望可以完整的介绍下常见的定时任务方案,于是便有了这篇文章。
|
弹性计算 网络协议 小程序
阿里云建站云企业官网标准版、高级版和尊贵版功能区别如何选择?
阿里云建站云企业官网标准版、高级版和尊贵版功能区别,云企业官网尊贵版独享IP,独享100M带宽,支持双语、会员管理和电商功能,网站空间容量更大一些
868 0
阿里云建站云企业官网标准版、高级版和尊贵版功能区别如何选择?