开发者学堂课程【大数据 Flink 实时旅游平台环境篇 2020版:环境篇之 flink 的 HA部署】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/643/detail/10708
环境篇之 flink 的 HA 部署
内容介绍:
一、解压
二、配置环境变量
三、分发并修改
一、解压
首先解压
将本机上的软件
flink-1.9.1-bin-scala_2.11.tgz
和flink-shaded-hadoop-2.uber-2.7.5-10.0.jar拖到服务器中
启动后登录用户,再输入
tar -zxvf /home/flink-1.9.1-bin-scala_2.11.tgz -C/usr /local/
解压完后输入
ll
cd /usr/local/flink-1.9.1/
进行查看
二、配置环境变量
接着配置环境变量
输入vi /etc/profile
进入后追加如下内容,输入
export FLINK_HOME=/usr /local/flink-1.9.1/
显示 exportPATH=$PATH:$JAVA_HOME/bin:$ZK_HOME/bin:SHADOOP_HOME/bin:$HADOOP_HOME/sbin:SKAFKA_HOME/bin:
在后面添加 $FLINK_HOME/bin
环境变量配置好后刷新环境变量:输入
source /etc/profile
which flink
结果显示 /usr/local/flink-1.9.1/bin/flink
配置
最主要的配置是./conf/flink-conf.yaml (hadoop02去修改对应ip即可)
继续输入rm -rf ./conf/flink-conf.yaml
vi ./conf/flink-conf.yaml
之后复制输入下列内容
# Common
#==========================================================
#jobmanager.rpc.address:hadoop01
HA 模式不用
# The RPC port where the JobManager is reachable.
jobmanager.rpc.port:6123
#The heap size for the JobManager JVM
jobmanager.heap.size:1024m
//jobmanager 内存大小
#The heap size for the JobManager JVM
taskmanager.heap.size:1024m
//taskmanager 内存大小
#==========================================================
# Rest &web frontend
#==========================================================
# The port to which the REST client connects to. If rest.bind-port has
# not been specified,then the server will bind to this port as well.
#
rest.port: 8081
//rest 访问端口
# The address to which the REST client will connect to
#
rest.address : hadoop01
//rest 访问地址
# HA settings
//核心配置,上面内容为基础配置
high-availability: zookeeper
high-availability.zookeeper.quorum:hadoop01:2181,hadoop02:2181,hadoop03:2181
//zookeeper 地址
high-availability.zookeeper.path.root: /flink
//zookeeper根目录
high-availability.cluster-id: /cluster_flink
//cluster的id
high-availability.storageDir: hdfs : / /hadoop01:9000/flink/recovery
//集群的存储目录
以上配置完后再输入
vi./conf/slaves
进入后输入
hadoop01
hadoop02
hadoop03
再输入vi./conf/masters
进入后输入
hadoop01:8081
hadoop02:8081
保存后,以上就配置完成
三、分发并修改
再来分发并修改 hadoop02 和 hadoop03 节点的 ip 或者主机名
分发: 输入:
scp -r /etc/profile hadoop02 :/etc
结果显示 profile,再输入
scp -r /etc/profile hadoop03 :/etc
结果显示 profile
再分发包:输入
scp -r ../flink-1.9.1/ hadoop02 :/usr/local/
scp -r ../flink-1.9.1/ hadoop03:/usr/local/
分发完后进行修改,在另外两个端口都输入
source /etc/profile
source /etc/profile
再都输入
cd /usr/local/flink-1.9.1
vi ./conf/flink-conf .yaml
进入后找到 rest.address:hadoop01 改为
rest.address:hadoop02
另一个端口改为03
以上保存好后可以测试是否存在问题,输入
which flink
结果显示 /usr/local/flink-1.9.1/bin/flink 没有问题
以上内容就是安装配置