开发者社区> 问答> 正文

生产环境 flink的高可用集群部署 有类似cdh这样的工具嘛

赵慧 2019-02-14 14:44:35 998

转自钉钉群21789141:生产环境 flink的高可用集群部署 有类似cdh这样的工具嘛

流计算
分享到
取消 提交回答
全部回答(1)
  • 赵慧
    2019-07-17 23:28:10

    尚墨:你可以flink on yarn

    问:自己部署Hadoop集群嘛 关键问题是 集群进程 管理 CDH可以很好的监控管理比如HBase这些服务

    尚墨:flink只是一个计算框架,flink on yarn后 高可用的事情就交给yarn管理了

    问:是的 就是说 flink服务的监控管理 有类似CDH的服务嘛?

    尚墨:yarn启动flink后你可以访问flink任务管理界面你可以搭套看一下,你就理解了,配置一下flink on yarn,yarn地址指向道cdh的yarn

    问:那你的 flink on yarn 集群。 比如:3台flink(1master,2task),flink指定 CDH中yarn集群位置,同时要同步 CDH中已部署好的yarn服务jar包,你生产环境的flink 用的是哪个版本的CDH?

    尚墨:不用,flink on yarn只需要一个flink包就可以了

    问:保证版本一致 flink指向CDH的yarn集群位置 对吧

    尚墨:你理解跑偏了。在你向yarn提交flink任务后 yarn会把flink包分发道nm节点,在yarn中启动flink集群。可以了解一下官方flink on yarn的部署文档

    0 0
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题