Flink 之所以选择 K8S 来作为底层的资源管理来为用户提供服务主要原因有以下几点:
1.Flink 特 性: 首 先 Flink 是 大 数 据 类 应 用, 与 传 统 大 数 据 应 用 如 Spark、Hadoop、MapReduce 以及 Hive 等不同的是,Flink 是常驻进程,其类似于在线业务的 App,作业发布后修改频率比较低,这就要求执行作业的 worker长时间稳定运行。另外,与其他批处理作业相比,流作业任务一般应用于实时风控和实时推荐的业务场景下,其重要度更高,稳定性要求也更高。
2.K8S 优势:K8S 设计的初衷是为在线应用服务,目标是为了帮助在线应用更好地发布和管理,实现资源隔离;其次,目前 K8S 具备一定的生态优势,目前很多用户已经开始或尝试开始使用 K8S 来管理在线应用;K8S 可以很好地集成其他集群维护工具,如监控工具普罗米修斯,同时在资源弹性方面,K8S可以很方便地进行扩缩容。
以上内容摘自《大数据工程师必读手册》电子书,点击https://developer.aliyun.com/topic/download?id=29可下载完整版
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。