一、 架构图
-
- Flink程序需要提交程序给 JobClient
-
- JobClient 将作业提交给 JobMananger
-
- JobManager负责协调资源分配和作业执行. 资源分配完成后, 任务将提交给对应的TaskManager
-
- TaskManager 启动一个线程开始执行. TaskManager会向JobManager报告状态更改. 例如开始执行, 正在进行或已完成.
-
- 作业完成后, 结果将发送回客户端. (JobClient)
Standlong 模式Flink的各个角色都是独立进程.
二、环境准备
- jdk1.8 及以上 [配置 JAVA_HOME环境变量]
- SSH免密码登录 [集群内节点之间免密码登录]
三、下载安装包
https://archive.apache.org/dist/flink/flink-1.14.0/flink-1.14.0-bin-scala_2.12.tgz
四、 服务器规划
角色 | Master | Slave |
---|---|---|
服务器 | node1 | node1 |
五、 安装步骤
1.创建统一工作目录
mkdir -p /export/server # 软件安装路径
mkdir -p /export/software # 数据存储路径
mkdir -p /export/data # 安装包存放路径
2. 下载 flink 安装包
https://archive.apache.org/dist/flink/flink-1.14.0/flink-1.14.0-bin-scala_2.12.tgz
3. 上传Flink压缩包到指定目录
/export/software
4. 解压缩flink到 /export/server 目录
cd /export/software/
tar -zxf flink-1.14.0-bin-scala_2.12.tgz -C /export/server/
cd /export/server/
ll | grep flink
5. 改名或创建软链接:方便后期升级
ln -s /export/server/flink-1.14.0/ /export/server/flink
cd /export/server/ && ll | grep flink