Flink入坑指南 第一章 - 简介

简介:

Flink入坑指南系列文章,从实际例子入手,一步步引导用户零基础入门实时计算/Flink,并成长为使用Flink的高阶用户。本文属个人原创,仅做技术交流之用,笔者才疏学浅,如有错误,欢迎指正。转载请注明出处,侵权必究。

Flink是什么

这是个很玄妙的问题。在以下网站上做了很专业的介绍。

如果你是大数据从业人士,简单理解,在功能上:flink>storm=jstorm=spark streaming。玩过大数据的同学对这些系统应该都不陌生。作为流计算领域的后起之秀,flink架构设计先进,ms级延时,支持Exactly once语义等,逐渐受到广大工程师的青睐,有越来越多的公司开始入坑Flink。

如果你是大数据小白,应该怎么理解Flink呢?

  • Flink是个分布式实时计算引擎
  • 可以通过SQL/DataStream API来提交Flink作业
  • 可以解决低延时/大数量/精确计算的业务需求
    还不理解?那么就跟我们的文章一步步来探索吧。

有问题?点我提问

实时计算产品是什么

官方介绍 -- 阿里云实时计算(Alibaba Cloud Realtime Compute)(原阿里云流计算)是一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛应用于流式数据处理、离线数据处理、DataLake计算等场景。

实时计算底层计算引擎用的就是Flink,并且底层Flink版本与开源相比,在SQL解析层以及Runtime层都做了大量优化,SQL支持更完善,性能更优秀。实时计算产品使用的Flink版本中的各项feature会开源,逐步推回社区。

实时计算产品在Ali内部的引擎上,做了产品化包装,开发了一套开发+运维IDE,并且与其他阿里云产品的交互做了大量工作。在核心功能上,实时计算产品=Flink,因此以后系列文章中,用Flink代替产品名称。

有问题?点我提问

本教程适合人群

对Flink有浓厚兴趣,想用Flink解决实际生产中的各种问题。
如果你是:

  • 技术小白,不会写SQL。 请移步google/百度,先学习一下SQL的基本知识。
  • 有一定技术基础,并且会写SQL。恭喜你,你已经具备了学习Flink的基础知识。
  • 大数据从业人员,从本教程中,也可以学到很多原理性知识,从而成长称为优秀的Flink高阶开发人员。

有问题?点我提问

适合场景

Flink能解决什么问题?如果你的场景:

  • 流量大:单机搞不定
  • 实时性要求高:s/ms级延时
  • 计算逻辑复杂:有各种聚合/分组/关联等复杂操作
    恭喜你,入坑实时计算/Flink

也可以参考目前我们收集的用户案例,来判断Flink是否适合你的场景。
如果你有任何Flink使用的优质案例,欢迎投稿,联系我们:点我提问

如果你不确定Flink是否适合解决你的问题?点我提问
如果你不确定你的需求在Flink中如何实现?点我提问
如果你对实时计算产品/Flink有任何问题?点我提问

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
分布式计算 API 数据处理
Flink【基础知识 01】(简介+核心架构+分层API+集群架构+应用场景+特点优势)(一篇即可大概了解flink)
【2月更文挑战第15天】Flink【基础知识 01】(简介+核心架构+分层API+集群架构+应用场景+特点优势)(一篇即可大概了解flink)
1006 1
|
Prometheus 监控 Cloud Native
Flink Metrics 简介
Fink Metrics 是 Flink 内部的一个度量系统,除了可以在 Flink UI 上展示运行时的指标,也可以对外暴露接口集成到第三方系统,本文详述了这两方面的应用
|
分布式计算 Java Hadoop
flink hadoop 从0~1分布式计算与大数据项目实战(4)zookeeper内部原理流程简介以及java curator client操作集群注册,读取
flink hadoop 从0~1分布式计算与大数据项目实战(4)zookeeper内部原理流程简介以及java curator client操作集群注册,读取
flink hadoop 从0~1分布式计算与大数据项目实战(4)zookeeper内部原理流程简介以及java curator client操作集群注册,读取
|
存储 SQL 分布式计算
Flink 引擎简介 | 青训营笔记
从产品技术来看,Flink 具备如下流计算技术特征:完全一次保证:故障后应正确恢复有状态运算符中的状态;低延迟:越低越好。许多应用程序需要亚秒级延迟;高吞吐量:随着数据速率的增长,通过管道推送大量数据至关重要;强大的计算模型:框架应该提供一种编程模型,该模型不限制用户并允许各种各样的应用程序在没有故障的情况下,容错机制的开销很低;流量控制:来自慢速算子的反压应该由系统和数据源自然吸收,以避免因消费者缓慢而导致崩溃或降低性能;乱序数据的支持:支持由于其他原因导致的数据乱序达到、延迟到达后,计算出正确的结果;完备的流式语义:支持窗口等现代流式处理语义抽象;
392 0
Flink 引擎简介 | 青训营笔记
|
存储 SQL 资源调度
环境篇之 flink 简介|学习笔记
快速学习环境篇之 flink 简介
225 0
环境篇之 flink 简介|学习笔记
|
消息中间件 分布式计算 大数据
Flink原理简介和使用(3)
Flink原理简介和使用(3)
324 0
Flink原理简介和使用(3)
|
流计算
Flink原理简介和使用(2)
Flink原理简介和使用(2)
341 0
Flink原理简介和使用(2)
|
Java 流计算
Flink原理简介和使用(1)
Flink原理简介和使用(1)
320 0
Flink原理简介和使用(1)
|
资源调度 Kubernetes 监控
Flink部署、使用、原理简介(下)
Flink部署、使用、原理简介(下)
232 0
Flink部署、使用、原理简介(下)
|
流计算
Flink部署、使用、原理简介(上)
Flink部署、使用、原理简介(上)
240 0
Flink部署、使用、原理简介(上)

热门文章

最新文章

相关产品

  • 实时计算 Flink版