开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink On Yarn模式,有办法可以固定jobmanager.rpc.port端口吗?

Flink On Yarn模式,有办法可以固定jobmanager.rpc.port端口吗?

展开
收起
雪哥哥 2022-10-30 10:04:25 2176 0
4 条回答
写回答
取消 提交回答
  • 学无止境!

    有。通过Session-Cluster模式先启动集群,然后再提交作业,接着会向yarn申请一块空间后,资源永远保持不变。如果资源满了,下一个作业就无法提交,只能等到yarn中的其中一个作业执行完成后,释放了资源,下个作业才会正常提交。以此类推,即可实现。

    2022-11-30 11:55:08
    赞同 展开评论 打赏
  • 十年摸盘键,代码未曾试。 今日码示君,谁有上云事。

    在一个企业中,为了最大化的利用集群资源,一般都会在一个集群中同时运行多种类型的Workload,因此 Flink 也支持在 Yarn 集群运行。

    Flink提供了两种在yarn上运行的模式,分别为Session-Cluster和Per-Job-Cluster模式。

    Session-Cluster模式需要先启动集群,然后再提交作业,接着会向yarn申请一块空间后,资源永远保持不变。如果资源满了,下一个作业就无法提交,只能等到yarn中的其中一个作业执行完成后,释放了资源,下个作业才会正常提交。

    一个Job会对应一个集群,每提交一个作业会根据自身的情况,都会单独向yarn申请资源,直到作业执行完成,一个作业的失败与否并不会影响下一个作业的正常提交和运行。

    每次提交都会创建一个新的flink集群,任务之间互相独立,互不影响,方便管理。

    jobmanager.rpc.address 是jobmanager rpc通信绑定的地址,

    jobmanager.rpc.port 是jobmanager的rpc端口,默认是6123。

    jobmanager.memory.process.size 是 jobmanager jvm进程的堆内存大小,默认是1600m taskmanager.memory.process.size 是taskmanager jvm进程的堆内存大小,默认是1728m taskmanager.numberOfTaskSlots 表示每个taskmanager所能提供的slots数量,也就是flink节点的计算能力,默认值1

    以上关于资源的设置要根据集群大小以及机器配置来按需设置。

    2022-11-24 15:21:47
    赞同 1 展开评论 打赏
  • jobmanager和taskmanager、其他client的RPC通信端口,TaskManager用于连接到JobManager/ResourceManager。HA模式不用配置此项,在master文件中配置,由zookeeper选出leader与standby

    jobmanager.rpc.port: 6123
    
    
    2022-11-24 07:30:28
    赞同 展开评论 打赏
  • 天下风云出我辈,一入江湖岁月催,皇图霸业谈笑中,不胜人生一场醉。

    jobmanager.rpc.address 是jobmanager rpc通信绑定的地址,这里配置为jobmanager的主机名,即hadoop1

    jobmanager.rpc.port 是jobmanager的rpc端口,默认是6123

    jobmanager.memory.process.size 是 jobmanager jvm进程的堆内存大小,默认是1600m

    taskmanager.memory.process.size 是taskmanager jvm进程的堆内存大小,默认是1728m

    taskmanager.numberOfTaskSlots 表示每个taskmanager所能提供的slots数量,也就是flink节点的计算能力,默认值1

    以上关于资源的设置要根据集群大小以及机器配置来按需设置。

    2022-11-23 16:15:34
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    深度学习+大数据 TensorFlow on Yarn 立即下载
    Docker on Yarn 微服务实践 立即下载
    深度学习+大数据-TensorFlow on Yarn 立即下载