Flink 诞生

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介:  Flink 诞生

  Flink 诞生于欧洲的一个大数据研究项目 StratoSphere。它是由 3 所地处柏林的大学和欧洲其他一些大学在 2010~2014 年共同进行的研究项目,由柏林理工大学的教授沃克尔·马尔科(Volker Markl)领衔开发。早期,Flink 是做 Batch 计算的,但是在 2014 年, StratoSphere 里面的核心成员孵化出 Flink,同年将 Flink 捐赠 Apache,并在后来成为 Apache 的顶级大数据项目,同时 Flink 计算的主流方向被定位为 Streaming, 即用流式计算来做所有大数据的计算,这就是 Flink 技术诞生的背景。

  2014 年 Flink 作为主攻流计算的大数据引擎开始在开源大数据行业内崭露头角。区别于Storm、Spark Streaming 以及其他流式计算引擎的是:它不仅是一个高吞吐、低延迟的计算引擎,同时还提供很多高级的功能。比如它提供了有状态的计算,支持状态管理,支持强一致性的数据语义以及支持 基于Event Time的WaterMark对延迟或乱序的数据进行处理等。

 

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
目录
相关文章
|
流计算 分布式计算 消息中间件
用Flink取代Spark Streaming!知乎实时数仓架构演进
- 实时数仓 1.0 版本,主题:ETL 逻辑实时化,技术方案:Spark Streaming。 - 实时数仓 2.0 版本,主题:数据分层,指标计算实时化,技术方案:Flink Streaming。 - 实时数仓未来展望:Streaming SQL 平台化,元信息管理系统化,结果验收自动化。
用Flink取代Spark Streaming!知乎实时数仓架构演进
|
4月前
|
SQL 大数据 数据处理
【Flink】Flink 起源和设计理念
【1月更文挑战第26天】【Flink】Flink 起源和设计理念
|
4月前
|
弹性计算 大数据 调度
Flink中Mesos在大数据领域中使用较多
【1月更文挑战第19天】【1月更文挑战第92篇】Flink中Mesos在大数据领域中使用较多
40 1
|
SQL 机器学习/深度学习 运维
实时计算 Flink:基于 Apache Flink 构建的大数据计算平台(附白皮书)
实时计算 Flink版是阿里云提供的基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由Apache Flink创始团队官方出品。
|
8月前
|
存储 大数据 API
大数据Flink流处理相关概念
大数据Flink流处理相关概念
62 0
|
机器学习/深度学习 分布式计算 算法
一文初识大数据Flink框架
一文初识大数据Flink框架
一文初识大数据Flink框架
|
消息中间件 分布式计算 大数据
【大数据技术之Flink】读懂Flink,流计算 一
【大数据技术之Flink】读懂Flink,流计算 一
222 0
【大数据技术之Flink】读懂Flink,流计算 一
|
SQL 分布式计算 大数据
【大数据技术之Flink】读懂Flink,流计算 二
【大数据技术之Flink】读懂Flink,流计算 二
157 0
【大数据技术之Flink】读懂Flink,流计算 二
|
并行计算 流计算 容器
Flink相关概念
Flink相关概念
79 0
|
SQL 存储 资源调度
带你走入 Flink 的世界(上)
在 18 年时,就听说过 Flink 流式计算引擎,是阿里调研选型选择的新一代大数据框计算架,当时就记住了这个新框架。 由于工作中,常写的还是业务开发,没有系统的去学习它,恰好在今年,我们的数据增长越来越快,架构师提出可以根据数据进行加工,通过数据分析得到更多指标性的计算结果,提供更多有价值的业务给用户。
带你走入 Flink 的世界(上)