实时计算Flink云原生版本正式发布

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: Why Flink on KubernetesApache Flink是Apache社区的顶级开源项目,主攻流计算领域,具备高吞吐,低延时的特点,在流计算领域已经取代了storm/spark streaming,成为了目前流式处理领域的最热门引擎。

Why Flink on Kubernetes

Apache Flink是Apache社区的顶级开源项目,主攻流计算领域,具备高吞吐,低延时的特点,在流计算领域已经取代了storm/spark streaming,成为了目前流式处理领域的最热门引擎。主要应用在:实时数仓,实时风控,实时推荐等业务场景。

Kubernetes是目前最主流的开源的容器调度平台,它可以自动化应用容器的部署、扩展和操作 , 提供以容器为中心的基础架构,并快速高效地响应客户需求。具有架构简单,可扩展,自修复等特点。

K8S优势:

  • 资源隔离:K8S具有强大的资源隔离
  • 快速部署/扩展/对接新应用
  • 节省资源,优化硬件资源的使用
  • Loosely coupled,分布式,弹性,微服务化:应用程序分为更小的、独立的部件,可以动态部署和管理。

Flink之所以选择K8S来作为底层的资源管理来为用户提供服务主要原因有以下几点:
Flink特性:

  • Flink是大数据类应用,与传统大数据应用如Spark、Hadoop、MapReduce以及Hive等不同的是,Flink是常驻进程,其类似于在线业务的App,作业发布后修改频率比较低,要求执行作业的worker长时间稳定运行。
  • 与其他批处理作业相比,流作业任务一般应用于实时风控和实时推荐的业务场景下,其重要度更高,稳定性要求也更高。

结合两大开源项目的优势,实时计算Flink云原生版(Flink on Kubernetes)具有以下优势:

  • 运维侧模型统一降低运维成本
    越来越多的企业将传统的在线任务服务切换到kubernetes上,Flink也运行在kubernetes上,可统一在线离线技术体系,大大降低用户运维成本。
  • 弹性伸缩与成本优化
    容器的最大特性之一就是弹性的能力,对于大数据的业务而言,提高集群资源的利用率从而降低成本,是用户考虑的第一要务。Flink on Kubernetes模式,结合马上要推出的Flink单作业Autoscale功能,可完美应对单任务突发性负载,在高流量时自动申请ECS,降低作业延时;低流量时缩减作业资源,释放ECS,从而在保证作业延时的同时降低用户成本。

实时计算-Flink云原生版本

Flink云原生目前支持部署容器服务ACK提供的Kubernetes上,是Flink与容器服务ACK深度集成,成分利用了ACK在云平台上整合阿里云虚拟化、存储、网络和安全的能力,为用户提供极致的Flink使用体验。

开源

产品提供多个的Flink版本,与开源Flink接口完全兼容,满足用户平迁需求。

免费

平台各组件免费使用,用户只需支付ECS费用即可使用Flink云原生产品

易用

提供开箱即用的作业开发平台,以及Metric采集,展示,监控,报警能力,分钟级别搭建平台,大大节省用户平台搭建时间。

增值

提供各种可插拔的增值组件,包括只能调优系统,机器学习组件等。

欢迎广大用户试用Flink云原生产品,试用链接:https://common-buy.aliyun.com/?commodityCode=sc_blinkonk8s#/buy
或在阿里云官网搜索:实时计算,登陆产品详情页查看介绍。

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
目录
打赏
0
0
0
0
32164
分享
相关文章
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
Flink在B站的大规模云原生实践
本文基于哔哩哔哩资深开发工程师丁国涛在Flink Forward Asia 2024云原生专场的分享,围绕Flink On K8S的实践展开。内容涵盖五个部分:背景介绍、功能及稳定性优化、性能优化、运维优化和未来展望。文章详细分析了从YARN迁移到K8S的优势与挑战,包括资源池统一、环境一致性改进及隔离性提升,并针对镜像优化、Pod异常处理、启动速度优化等问题提出解决方案。此外,还探讨了多机房容灾、负载均衡及潮汐混部等未来发展方向,为Flink云原生化提供了全面的技术参考。
170 9
Flink在B站的大规模云原生实践
网易游戏 Flink 云原生实践
本文分享了网易游戏在Flink实时计算领域的资源管理与架构演进经验,从Yarn到K8s云原生,再到混合云的实践历程。文章详细解析了各阶段的技术挑战与解决方案,包括资源隔离、弹性伸缩、自动扩缩容及服务混部等关键能力的实现。通过混合云架构,网易游戏显著提升了资源利用率,降低了30%机器成本,小作业计算成本下降40%,并为未来性能优化、流批一体及智能运维奠定了基础。
192 9
网易游戏 Flink 云原生实践
OpenKruise v1.8版本解读:解锁云原生应用管理的无限可能
OpenKruise在2025年2月发布了最新的1.8版本。此版本带来了诸多重要的更新与增强,致力于进一步提升云原生应用管理的效率、弹性和可靠性。
Apache Doris Flink Connector 24.0.0 版本正式发布
该版本新增了对 Flink 1.20 的支持,并支持通过 Arrow Flight SQL 高速读取 Doris 中数据。
Flink-12 Flink Java 3分钟上手 Kubernetes云原生下的Flink集群 Rancher Stateful Set yaml详细 扩容缩容部署 Docker容器编排
Flink-12 Flink Java 3分钟上手 Kubernetes云原生下的Flink集群 Rancher Stateful Set yaml详细 扩容缩容部署 Docker容器编排
256 3
开源云原生数据库PolarDB PostgreSQL 15兼容版本正式发布
PolarDB进行了深度的内核优化,从而实现以更低的成本提供商业数据库的性能。
Flink 新一代流计算和容错问题之将 Flink 的容错与云原生的弹性扩缩容相结合要怎么操作
Flink 新一代流计算和容错问题之将 Flink 的容错与云原生的弹性扩缩容相结合要怎么操作
Flink 新一代流计算和容错问题之Flink 通过云原生技术改进容错设计要如何操作
Flink 新一代流计算和容错问题之Flink 通过云原生技术改进容错设计要如何操作
"Flink+Paimon:阿里云大数据云原生运维数仓的创新实践,引领实时数据处理新纪元"
【8月更文挑战第2天】Flink+Paimon在阿里云大数据云原生运维数仓的实践
403 3

相关产品

  • 实时计算 Flink版
  • AI助理

    你好,我是AI助理

    可以解答问题、推荐解决方案等

    登录插画

    登录以查看您的控制台资源

    管理云资源
    状态一览
    快捷访问