点一下关注吧!!!非常感谢!!持续更新!!!
目前已经更新到了:
Hadoop(已更完)
HDFS(已更完)
MapReduce(已更完)
Hive(已更完)
Flume(已更完)
Sqoop(已更完)
Zookeeper(已更完)
HBase(已更完)
Redis (已更完)
Kafka(已更完)
Spark(已更完)
Flink(正在更新!)
章节内容
上节完成了如下的内容:
Flink 重要角色
TaskManager
ResourceManager
各个组件之间的关系
Sink Task SubTask 等等内容
安装模式
Flink支持多种安装模式:
local(本地):单机模式,一般本地开发调试
Standalone独立模式:Flink自带集群,自己管理资源调度,部分生产环境会这么用
YARN模式:计算资源统一由Hadoop YRAN管理,生产环境大部分是这种
基础环境
基于我们之前的大数据的环境:
JAVA_HOME 之前已经配好了
SSH 免密登录 三台节点之间 之前也配置好了
集群规划
我们对应的机器是:
- h121 2C4G
- h122 2C4G
- h123 2C2G
下载安装
选择的版本是:Flink 1.11.1 版本
https://www.apache.org/dyn/closer.lua/flink/flink-1.11.1/flink-1.11.1-bin-scala_2.12.tgz
你也可以直接使用 wget 下载,目前我们登录到服务器 h121 节点上
cd /opt/software/ wget https://archive.apache.org/dist/flink/flink-1.11.1/flink-1.11.1-bin-scala_2.12.tgz
等待下载完毕:
解压配置:
tar -zxvf flink-1.11.1-bin-scala_2.12.tgz
处理过程如下:
解压完成之后,移动到目录下:
mv flink-1.11.1 ../servers/ cd ../servers/ ls
Standalone模式部署
上述我们已经完成了 h121 服务器节点的配置安装,接下来我们修改配置文件。
Standalone 模式是一种相对简单的 Flink 集群部署方式,适合在拥有固定资源的环境中运行 Flink 应用程序。所有的 Flink 组件(如 JobManager 和 TaskManager)都是手动配置和启动的,没有依赖外部的资源管理系统。
启动与配置
手动启动:在 Standalone 模式下,JobManager 和 TaskManager 需要通过脚本手动启动。可以通过 Flink 提供的启动脚本(如 start-cluster.sh)来启动整个集群,或者单独启动每个组件。
配置文件:Standalone 模式的配置主要通过 flink-conf.yaml 文件进行,配置内容包括 JobManager 和 TaskManager 的数量、内存和 CPU 资源、网络设置等。
flink-conf.yaml
cd /opt/servers/flink-1.11.1/conf vim flink-conf.yaml
我们修改的内容有这么两处:
jobmanager.rpc.address: h121.wzk.icu taskmanager.numberOfTaskSlots: 2
修改内容如下所示:
Works
不同的版本可能叫不同的名字,我这里是 works
cd /opt/servers/flink-1.11.1/conf vim workers
写入如下的内容,我们有三台云节点:
h121.wzk.icu h122.wzk.icu h123.wzk.icu
写入的结果如下图所示:
Master
cd /opt/servers/flink-1.11.1/conf vim masters • 1 • 2
写入如下的内容:
h121.wzk.icu:8081
写入的结果如下图: