随着数据量的爆发,AI走上风口,典型的大数据业务场景下数据业务最通用的做法是:选用批计算的技术处理全量数据,采用流计算的技术处理实时增量数据。在生产环境中,用户通常采用批处理和流处理两套计算引擎来支持这两种场景。弊端就是需要写两套代码,维护两套引擎,毫无疑问,这种架构带来了额外的负担与成本。
面对全量数据和增量数据,能否用一套统一的大数据引擎技术来处理?
Apache Flink 被业界公认为最好的流计算引擎,其计算能力不仅仅局限于做流处理,而是一套兼具流、批、机器学习等多种计算功能的大数据引擎,用户只需根据业务逻辑开发一套代码,无论是全量数据还是增量数据,亦或者实时处理,一套方案即可全部支持。为了让大家更全面地了解 Apache Flink 背后的技术以及应用实践,今天,我们首次免费公开 Apache Flink 系列视频课程。
如何下载
长按识别以下二维码,关注“Apache Flink”社区公众号,并在对话框内回复“计算”,即可免费观看视频、下载PPT资料。
为什么要收藏 Apache Flink 系列课程?
2018年市场调查报告显示 Apache Flink 是2018年开源大数据生态中发展“最快”的引擎,相较于2017年增长了125% 。Flink 的社区生态在不断发展壮大,在中国,越来越多的互联网公司在生产环境中采用Flink解决实时计算、流计算、风控等问题,因而,学习 Flink 迫在眉睫。
此次免费公开课共分为9个课时,课程内容包含 Flink 的基础架构、应用场景、集群部署、运行机制、编程范式,为你系统地拆分讲解大数据计算开发引擎Flink。
1.1 为什么要学习 Apache Flink?
关键词:Flink 的重要性
课程开篇由阿里巴巴高级产品专家,实时计算产品团队负责人陈守元(巴真)开讲,从开设Apache Flink 系列课程的初衷、Apache Flink 的定义/架构/原理以及学前准备与学习方法与你分享如何高效学习 Flink 系列课程。
1.2 Flink 基本概念
关键词:Apache Flink PMC、有状态的流式处理
本节课程由 Apache Flink PMC、Ververica Software Engineer 戴资力与你探讨 Flink 作为有状态的流式处理引擎的核心概念应当如何理解,Flink 与其他大数据引擎的区别是什么?为什么要使用 Flink 以及有状态的流式处理引擎面临哪些挑战?
1.3 Flink 安装部署、环境配置及运行应用程序
关键词:开发 Flink 必经第一课
破解“知易行难”的方法是实战,第三节内容由阿里巴巴高级开发工程师沙晟阳带你从Flink开发环境的部署、配置、运行,以及不同模式的应用场景入手,示范如何快速正确安装应用Flink,并为你提供了实际应用中可能出现的问题与相应的解决方案。
1.4 DataStream API 编程
关键词:社区网红、深入浅出、通俗易懂
第四节课程开始涉及实际开发,DataStream API是Flink中较为核心的内容,本节由Apache Flink Committer、加拿大约克大学博士后崔星灿现身分享,课程将带你回顾 DataStream API 的概念、设计等基础知识,用示例展示 DataStreamAPI 实用开发技巧并剖析 DataStream API 的部分源码,方便大家快速上手。
1.5 客户端操作
关键词:客户端操作全面使用指南
第五节课程是客户端操作的全面使用指南,由阿里巴巴技术专家周凯波(宝牛)视频演示Flink 的客户端操作,从演示环境、界面、Flink 命令行以及 Flink 的5种任务提交方式进行示范,为后续开发打好基础。
1.6 Window & Time
关键词:Window的数据流程
第六节课程主要讲述Window 相关的概念,课程由阿里巴巴高级开发工程师邱从贤分享,从 Window的基本概念、核心组件以及如何处理乱序数据、迟到数据等讲解,并用代码带你一起梳理整个 Window 的数据流程。
1.7 状态管理与容错机制
关键词:必听课程
第七节课程由美团点评的研发工程师孙梦瑶分享,从状态管理的基本概念,Flink 状态的类型与使用示例、容错机制与故障恢复以及企业应当如何选择状态的类型和存储方式等方面分享并给出参考建议。
1.8 Flink Table API 编程
关键词:SQL 性能中非常核心的部分
Table API 是 Flink 的 SQL 性能中非常核心的部分,本节内容由 Apache Flink Contributor、阿里巴巴高级研发工程师程鹤群分享,对 TableAPI 基本概念、特性进行讲解的同时从 Table API 编程、WordCount 示例、Table API 操作用代码进行示范并分享了 Table API 的社区动态。
1.9 Flink SQL 编程
关键词:一年成为 Committer,“Flink学习博客第一站”
Apache Flink系列课程最后一节由Apache Flink Committer、阿里巴巴高级开发工程师伍翀(云邪)分享 Flink SQL 编程的相关内容,从如何在流上运行 SQL 查询、如何使用 SQL CLI 客户端、如何使用 SQL CLI 消费Kafka数据、如何用 SQL 将结果写入Kafka和ElasticSearch,带你入门 Flink SQL 编程。
你能收获什么?
实现从0到1了解 Flink 建立 Flink 的系统框架体系,为大数据引擎学习打下基础。
- 通过实际案例,带你快速上手 Flink 这个分布式、高性能、高可用、高精确的为数据流应用而生的开源流式处理框架,带你领略计算之美。
- 课程内容侧重于原理解析与基础应用,通过对Flink流计算的概念、技术原理、实践操作等详细解析,从最实际的应用场景出发引导你深入了解Flink,帮助你从 Flink 小白成长为 Flink 技术专家。
课程内容既包含 Flink 相关企业使用者的经验分享,又有 Flink 核心开发者的理论实践,既有广度分享亦有深度探讨,实乃大数据爱好者学习 Flink 的居家旅行必备良药!
——巴真(阿里巴巴高级产品专家)
从媒体的最新资讯推送,到购物狂欢的实时数据大屏,甚至城市级计算的工业大脑,实时计算已经应用到了多个生活、工作场景,随着业务的快速增长,企业对大数据处理的需求越来越高,Flink的应用也越来越广泛,相信在不久的将来,Flink将会成为各行业不同规模企业主流的大数据处理框架,并最终成为下一代大数据处理框架的标准。越早学习,越能抓住时代先机。