Flink On Yarn模式,有办法可以固定jobmanager.rpc.port端口吗?
有。通过Session-Cluster模式先启动集群,然后再提交作业,接着会向yarn申请一块空间后,资源永远保持不变。如果资源满了,下一个作业就无法提交,只能等到yarn中的其中一个作业执行完成后,释放了资源,下个作业才会正常提交。以此类推,即可实现。
在一个企业中,为了最大化的利用集群资源,一般都会在一个集群中同时运行多种类型的Workload,因此 Flink 也支持在 Yarn 集群运行。
Flink提供了两种在yarn上运行的模式,分别为Session-Cluster和Per-Job-Cluster模式。
Session-Cluster模式需要先启动集群,然后再提交作业,接着会向yarn申请一块空间后,资源永远保持不变。如果资源满了,下一个作业就无法提交,只能等到yarn中的其中一个作业执行完成后,释放了资源,下个作业才会正常提交。
一个Job会对应一个集群,每提交一个作业会根据自身的情况,都会单独向yarn申请资源,直到作业执行完成,一个作业的失败与否并不会影响下一个作业的正常提交和运行。
每次提交都会创建一个新的flink集群,任务之间互相独立,互不影响,方便管理。
jobmanager.rpc.address 是jobmanager rpc通信绑定的地址,
jobmanager.rpc.port 是jobmanager的rpc端口,默认是6123。
jobmanager.memory.process.size 是 jobmanager jvm进程的堆内存大小,默认是1600m taskmanager.memory.process.size 是taskmanager jvm进程的堆内存大小,默认是1728m taskmanager.numberOfTaskSlots 表示每个taskmanager所能提供的slots数量,也就是flink节点的计算能力,默认值1
以上关于资源的设置要根据集群大小以及机器配置来按需设置。
jobmanager和taskmanager、其他client的RPC通信端口,TaskManager用于连接到JobManager/ResourceManager。HA模式不用配置此项,在master文件中配置,由zookeeper选出leader与standby
jobmanager.rpc.port: 6123
jobmanager.rpc.address 是jobmanager rpc通信绑定的地址,这里配置为jobmanager的主机名,即hadoop1
jobmanager.rpc.port 是jobmanager的rpc端口,默认是6123
jobmanager.memory.process.size 是 jobmanager jvm进程的堆内存大小,默认是1600m
taskmanager.memory.process.size 是taskmanager jvm进程的堆内存大小,默认是1728m
taskmanager.numberOfTaskSlots 表示每个taskmanager所能提供的slots数量,也就是flink节点的计算能力,默认值1
以上关于资源的设置要根据集群大小以及机器配置来按需设置。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。