Flink四种集群模式原理

Flink的集群安装模式

1. Local——本地单机模式，学习测试使用
2. Standlone——独立集群模式，flink自带集群，学习测试使用
3. standloneHA——独立集群的高可用模式，flink自带集群，开发测试使用
4. On Yarn——计算机资源同意由Hadoop Yarn管理，生产模式使用

1. Local——本地单机模式

2.Standalone——独立集群模式

3.StandloneHA——独立集群高可用模式

4. On Yarn模式

1.Client上传jar包和配置文件到HDFS集群上

2.Client向Yarn ResourceManager提交任务并申请资源

3.ResourceManager分配Container资源并启动ApplicationMaster,然后AppMaster加载Flink的Jar包和配置构建环境,启动JobManager

4.ApplicationMaster向ResourceManager申请工作资源,NodeManager加载Flink的Jar包和配置构建环境并启动TaskManager

5.TaskManager启动后向JobManager发送心跳包，并等待JobManager向其分配任务

4.2 On Yarn模式的优点

资源按需使用分配

Yarn的资源可以按需使用，提高集群的资源（CPU,内存……）使用率

支持优先级和多种调度策略

Yarn的任务有优先级，根据优先级运行作业和灵活的调度策略。

Yarn的三种调度策略：FIFO调度算法、Capcity调度算法、Fair调度算法

自带容错机制，实现高可用

基于Yarn调度系统，能够自动化地处理各个角色地Failover(容错)

JobManager进程和TaskManager进程都由Yarn NodeManager监控

如果TaskManager进程异常退出，JobManager会受到消息并重新向Yarn ResourceManager申请资源，重新启动TaskManager

4.3OnYarn 的两种模式

• sesion会话模式——适合小任务

过程：多个Client在一套Flink集群上去执行。

优点:可以重复使用在Yarn上开启的Flink集群。

缺点:适合小任务,不适合大任务。

+job分离模式——适合大任务

过程：每个Client任务单独开启一套Flink集群。

优点:每个任务单独在Yarn上启动一套Flink集群,适合大任务。

缺点:需要频繁的在Yarn上开启Flink集群。