转自钉钉群21789141:生产环境 flink的高可用集群部署 有类似cdh这样的工具嘛
尚墨:你可以flink on yarn
问:自己部署Hadoop集群嘛 关键问题是 集群进程 管理 CDH可以很好的监控管理比如HBase这些服务
尚墨:flink只是一个计算框架,flink on yarn后 高可用的事情就交给yarn管理了
问:是的 就是说 flink服务的监控管理 有类似CDH的服务嘛?
尚墨:yarn启动flink后你可以访问flink任务管理界面你可以搭套看一下,你就理解了,配置一下flink on yarn,yarn地址指向道cdh的yarn
问:那你的 flink on yarn 集群。 比如:3台flink(1master,2task),flink指定 CDH中yarn集群位置,同时要同步 CDH中已部署好的yarn服务jar包,你生产环境的flink 用的是哪个版本的CDH?
尚墨:不用,flink on yarn只需要一个flink包就可以了
问:保证版本一致 flink指向CDH的yarn集群位置 对吧
尚墨:你理解跑偏了。在你向yarn提交flink任务后 yarn会把flink包分发道nm节点,在yarn中启动flink集群。可以了解一下官方flink on yarn的部署文档
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。