Why Flink on Kubernetes
Apache Flink是Apache社区的顶级开源项目,主攻流计算领域,具备高吞吐,低延时的特点,在流计算领域已经取代了storm/spark streaming,成为了目前流式处理领域的最热门引擎。主要应用在:实时数仓,实时风控,实时推荐等业务场景。
Kubernetes是目前最主流的开源的容器调度平台,它可以自动化应用容器的部署、扩展和操作 , 提供以容器为中心的基础架构,并快速高效地响应客户需求。具有架构简单,可扩展,自修复等特点。
K8S优势:
- 资源隔离:K8S具有强大的资源隔离
- 快速部署/扩展/对接新应用
- 节省资源,优化硬件资源的使用
- Loosely coupled,分布式,弹性,微服务化:应用程序分为更小的、独立的部件,可以动态部署和管理。
Flink之所以选择K8S来作为底层的资源管理来为用户提供服务主要原因有以下几点:
Flink特性:
- Flink是大数据类应用,与传统大数据应用如Spark、Hadoop、MapReduce以及Hive等不同的是,Flink是常驻进程,其类似于在线业务的App,作业发布后修改频率比较低,要求执行作业的worker长时间稳定运行。
- 与其他批处理作业相比,流作业任务一般应用于实时风控和实时推荐的业务场景下,其重要度更高,稳定性要求也更高。
结合两大开源项目的优势,实时计算Flink云原生版(Flink on Kubernetes)具有以下优势:
- 运维侧模型统一降低运维成本
越来越多的企业将传统的在线任务服务切换到kubernetes上,Flink也运行在kubernetes上,可统一在线离线技术体系,大大降低用户运维成本。 - 弹性伸缩与成本优化
容器的最大特性之一就是弹性的能力,对于大数据的业务而言,提高集群资源的利用率从而降低成本,是用户考虑的第一要务。Flink on Kubernetes模式,结合马上要推出的Flink单作业Autoscale功能,可完美应对单任务突发性负载,在高流量时自动申请ECS,降低作业延时;低流量时缩减作业资源,释放ECS,从而在保证作业延时的同时降低用户成本。
实时计算-Flink云原生版本
Flink云原生目前支持部署容器服务ACK提供的Kubernetes上,是Flink与容器服务ACK深度集成,成分利用了ACK在云平台上整合阿里云虚拟化、存储、网络和安全的能力,为用户提供极致的Flink使用体验。
开源
产品提供多个的Flink版本,与开源Flink接口完全兼容,满足用户平迁需求。
免费
平台各组件免费使用,用户只需支付ECS费用即可使用Flink云原生产品
易用
提供开箱即用的作业开发平台,以及Metric采集,展示,监控,报警能力,分钟级别搭建平台,大大节省用户平台搭建时间。
增值
提供各种可插拔的增值组件,包括只能调优系统,机器学习组件等。
欢迎广大用户试用Flink云原生产品,试用链接:https://common-buy.aliyun.com/?commodityCode=sc_blinkonk8s#/buy
或在阿里云官网搜索:实时计算,登陆产品详情页查看介绍。