如何从小白进化成 Apache Flink 技术专家?9节基础课程免费公开!

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 为了让大家更全面地了解 Apache Flink 背后的技术以及应用实践,今天,我们首次免费公开 Apache Flink 系列视频课程。

随着数据量的爆发,AI走上风口,典型的大数据业务场景下数据业务最通用的做法是:选用批计算的技术处理全量数据,采用流计算的技术处理实时增量数据。在生产环境中,用户通常采用批处理和流处理两套计算引擎来支持这两种场景。弊端就是需要写两套代码,维护两套引擎,毫无疑问,这种架构带来了额外的负担与成本。

面对全量数据和增量数据,能否用一套统一的大数据引擎技术来处理?

Apache Flink 被业界公认为最好的流计算引擎,其计算能力不仅仅局限于做流处理,而是一套兼具流、批、机器学习等多种计算功能的大数据引擎,用户只需根据业务逻辑开发一套代码,无论是全量数据还是增量数据,亦或者实时处理,一套方案即可全部支持。为了让大家更全面地了解 Apache Flink 背后的技术以及应用实践,今天,我们首次免费公开 Apache Flink 系列视频课程。

如何下载

长按识别以下二维码,关注“Apache Flink”社区公众号,并在对话框内回复“计算”,即可免费观看视频、下载PPT资料。

Ververica_

为什么要收藏 Apache Flink 系列课程?

2018年市场调查报告显示 Apache Flink 是2018年开源大数据生态中发展“最快”的引擎,相较于2017年增长了125% 。Flink 的社区生态在不断发展壮大,在中国,越来越多的互联网公司在生产环境中采用Flink解决实时计算、流计算、风控等问题,因而,学习 Flink 迫在眉睫。

此次免费公开课共分为9个课时,课程内容包含 Flink 的基础架构、应用场景、集群部署、运行机制、编程范式,为你系统地拆分讲解大数据计算开发引擎Flink。

1.1 为什么要学习 Apache Flink

关键词:Flink 的重要性

课程开篇由阿里巴巴高级产品专家,实时计算产品团队负责人陈守元(巴真)开讲,从开设Apache Flink 系列课程的初衷、Apache Flink 的定义/架构/原理以及学前准备与学习方法与你分享如何高效学习 Flink 系列课程。

1.2 Flink 基本概念

关键词:Apache Flink PMC、有状态的流式处理

本节课程由 Apache Flink PMC、Ververica Software Engineer 戴资力与你探讨 Flink 作为有状态的流式处理引擎的核心概念应当如何理解,Flink 与其他大数据引擎的区别是什么?为什么要使用 Flink 以及有状态的流式处理引擎面临哪些挑战?

1.3 Flink 安装部署、环境配置及运行应用程序

关键词:开发 Flink 必经第一课

破解“知易行难”的方法是实战,第三节内容由阿里巴巴高级开发工程师沙晟阳带你从Flink开发环境的部署、配置、运行,以及不同模式的应用场景入手,示范如何快速正确安装应用Flink,并为你提供了实际应用中可能出现的问题与相应的解决方案。

1.4 DataStream API 编程

关键词:社区网红、深入浅出、通俗易懂

第四节课程开始涉及实际开发,DataStream API是Flink中较为核心的内容,本节由Apache Flink Committer、加拿大约克大学博士后崔星灿现身分享,课程将带你回顾 DataStream API 的概念、设计等基础知识,用示例展示 DataStreamAPI 实用开发技巧并剖析 DataStream API 的部分源码,方便大家快速上手。

1.5 客户端操作

关键词:客户端操作全面使用指南

第五节课程是客户端操作的全面使用指南,由阿里巴巴技术专家周凯波(宝牛)视频演示Flink 的客户端操作,从演示环境、界面、Flink 命令行以及 Flink 的5种任务提交方式进行示范,为后续开发打好基础。

1.6 Window & Time

关键词:Window的数据流程

第六节课程主要讲述Window 相关的概念,课程由阿里巴巴高级开发工程师邱从贤分享,从 Window的基本概念、核心组件以及如何处理乱序数据、迟到数据等讲解,并用代码带你一起梳理整个 Window 的数据流程。

1.7 状态管理与容错机制

关键词:必听课程

第七节课程由美团点评的研发工程师孙梦瑶分享,从状态管理的基本概念,Flink 状态的类型与使用示例、容错机制与故障恢复以及企业应当如何选择状态的类型和存储方式等方面分享并给出参考建议。

1.8 Flink Table API 编程

关键词:SQL 性能中非常核心的部分

Table API 是 Flink 的 SQL 性能中非常核心的部分,本节内容由 Apache Flink Contributor、阿里巴巴高级研发工程师程鹤群分享,对 TableAPI 基本概念、特性进行讲解的同时从 Table API 编程、WordCount 示例、Table API 操作用代码进行示范并分享了 Table API 的社区动态。

1.9 Flink SQL 编程

关键词:一年成为 Committer,“Flink学习博客第一站”

Apache Flink系列课程最后一节由Apache Flink Committer、阿里巴巴高级开发工程师伍翀(云邪)分享 Flink SQL 编程的相关内容,从如何在流上运行 SQL 查询、如何使用 SQL CLI 客户端、如何使用 SQL CLI 消费Kafka数据、如何用 SQL 将结果写入Kafka和ElasticSearch,带你入门 Flink SQL 编程。

你能收获什么?

实现从0到1了解 Flink 建立 Flink 的系统框架体系,为大数据引擎学习打下基础。

  • 通过实际案例,带你快速上手 Flink 这个分布式、高性能、高可用、高精确的为数据流应用而生的开源流式处理框架,带你领略计算之美。
  • 课程内容侧重于原理解析与基础应用,通过对Flink流计算的概念、技术原理、实践操作等详细解析,从最实际的应用场景出发引导你深入了解Flink,帮助你从 Flink 小白成长为 Flink 技术专家。

课程内容既包含 Flink 相关企业使用者的经验分享,又有 Flink 核心开发者的理论实践,既有广度分享亦有深度探讨,实乃大数据爱好者学习 Flink 的居家旅行必备良药!

——巴真(阿里巴巴高级产品专家)

从媒体的最新资讯推送,到购物狂欢的实时数据大屏,甚至城市级计算的工业大脑,实时计算已经应用到了多个生活、工作场景,随着业务的快速增长,企业对大数据处理的需求越来越高,Flink的应用也越来越广泛,相信在不久的将来,Flink将会成为各行业不同规模企业主流的大数据处理框架,并最终成为下一代大数据处理框架的标准。越早学习,越能抓住时代先机。

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
13天前
|
存储 人工智能 大数据
The Past, Present and Future of Apache Flink
本文整理自阿里云开源大数据负责人王峰(莫问)在 Flink Forward Asia 2024 上海站主论坛开场的分享,今年正值 Flink 开源项目诞生的第 10 周年,借此时机,王峰回顾了 Flink 在过去 10 年的发展历程以及 Flink社区当前最新的技术成果,最后展望下一个十年 Flink 路向何方。
296 33
The Past, Present and Future of Apache Flink
|
2月前
|
SQL Java API
Apache Flink 2.0-preview released
Apache Flink 社区正积极筹备 Flink 2.0 的发布,这是自 Flink 1.0 发布以来的首个重大更新。Flink 2.0 将引入多项激动人心的功能和改进,包括存算分离状态管理、物化表、批作业自适应执行等,同时也包含了一些不兼容的变更。目前提供的预览版旨在让用户提前尝试新功能并收集反馈,但不建议在生产环境中使用。
850 13
Apache Flink 2.0-preview released
|
2月前
|
存储 缓存 算法
分布式锁服务深度解析:以Apache Flink的Checkpointing机制为例
【10月更文挑战第7天】在分布式系统中,多个进程或节点可能需要同时访问和操作共享资源。为了确保数据的一致性和系统的稳定性,我们需要一种机制来协调这些进程或节点的访问,避免并发冲突和竞态条件。分布式锁服务正是为此而生的一种解决方案。它通过在网络环境中实现锁机制,确保同一时间只有一个进程或节点能够访问和操作共享资源。
91 3
|
2月前
|
数据挖掘 物联网 数据处理
深入探讨Apache Flink:实时数据流处理的强大框架
在数据驱动时代,企业需高效处理实时数据流。Apache Flink作为开源流处理框架,以其高性能和灵活性成为首选平台。本文详细介绍Flink的核心特性和应用场景,包括实时流处理、强大的状态管理、灵活的窗口机制及批处理兼容性。无论在实时数据分析、金融服务、物联网还是广告技术领域,Flink均展现出巨大潜力,是企业实时数据处理的理想选择。随着大数据需求增长,Flink将继续在数据处理领域发挥重要作用。
184 0
|
存储 SQL API
【对话科技】Flink技术介绍和新功能展望
2017年6月22号,由“京城学堂”和阿里巴巴集团技术发展部主办的“对话科技”系列讲座邀请到了Apache Flink项目的PMC成员,来自德国DataArtisans公司的Till Rohrmann,在北京阿里中心为关注实时计算技术的阿里同学做了一场关于Apache Flink技术发展的精彩分享。
|
3月前
|
运维 数据处理 数据安全/隐私保护
阿里云实时计算Flink版测评报告
该测评报告详细介绍了阿里云实时计算Flink版在用户行为分析与标签画像中的应用实践,展示了其毫秒级的数据处理能力和高效的开发流程。报告还全面评测了该服务在稳定性、性能、开发运维及安全性方面的卓越表现,并对比自建Flink集群的优势。最后,报告评估了其成本效益,强调了其灵活扩展性和高投资回报率,适合各类实时数据处理需求。
|
1月前
|
存储 分布式计算 流计算
实时计算 Flash – 兼容 Flink 的新一代向量化流计算引擎
本文介绍了阿里云开源大数据团队在实时计算领域的最新成果——向量化流计算引擎Flash。文章主要内容包括:Apache Flink 成为业界流计算标准、Flash 核心技术解读、性能测试数据以及在阿里巴巴集团的落地效果。Flash 是一款完全兼容 Apache Flink 的新一代流计算引擎,通过向量化技术和 C++ 实现,大幅提升了性能和成本效益。
1246 73
实时计算 Flash – 兼容 Flink 的新一代向量化流计算引擎
zdl
|
1月前
|
消息中间件 运维 大数据
大数据实时计算产品的对比测评:实时计算Flink版 VS 自建Flink集群
本文介绍了实时计算Flink版与自建Flink集群的对比,涵盖部署成本、性能表现、易用性和企业级能力等方面。实时计算Flink版作为全托管服务,显著降低了运维成本,提供了强大的集成能力和弹性扩展,特别适合中小型团队和业务波动大的场景。文中还提出了改进建议,并探讨了与其他产品的联动可能性。总结指出,实时计算Flink版在简化运维、降低成本和提升易用性方面表现出色,是大数据实时计算的优选方案。
zdl
158 56
|
5月前
|
存储 监控 大数据
阿里云实时计算Flink在多行业的应用和实践
本文整理自 Flink Forward Asia 2023 中闭门会的分享。主要分享实时计算在各行业的应用实践,对回归实时计算的重点场景进行介绍以及企业如何使用实时计算技术,并且提供一些在技术架构上的参考建议。
871 7
阿里云实时计算Flink在多行业的应用和实践
|
4月前
|
SQL 消息中间件 Kafka
实时计算 Flink版产品使用问题之如何在EMR-Flink的Flink SOL中针对source表单独设置并行度
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。

推荐镜像

更多