Flink教程(01)- Flink知识图谱

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: Flink教程(01)- Flink知识图谱

01 引言

最近因为工作需要用到了Flink,所以博主开了《Flink教程》专栏来记录Flink的笔记。

在学习Flink之前,我们必须要了解Flink究竟要学习什么?本文列了一个目录,主要用于为后续的教程作一个指南针向导,有个学习的方向。

02 Flink 知识结构

如果用文本来描述Flink图谱,如下:

2.1 Flink介绍

|- Flink介绍

|------Apache Flink是什么

|------数据架构的演变

|------------传统数据基础架构

|------------大数据基础架构

|------------有状态流计算架构

|------------为什么会是Flink

|------Flink应用场景

|------Flink基础架构

|------------基本组件栈

|------------基本架构图


2.2 环境准备

|- 环境准备

|------运行环境介绍

|------Flink项目模板

|------------基于Java实现的项目模板

|------------基于Scala实现的项目模板

|------Flink开发环境配置

|------------下载IDEA

|------------安装Scala Plugins

|------------导入Flink应用代码

|------------项目配置

|------------运行Scala REPL

|------------Flink源码编译


2.3 Flink编程模型

|- Flink编程模型

|------数据集类型

|------Flink编程接口

|------Flink程序结构

|------Flink数据类型

|------------数据类型支持

|------------TypeInfomation信息获取


2.4 DataStream API

|- DataStream API

|------DataStream编程模型

|------------DataSources数据输入

|------------DataStream转换操作

|------------DataSlinks数据输出

|------时间概念与Watermark

|------------时间概念

|------------EventTime和Watermark

|------Windows窗口计算

|------------Windows Assigner

|------------Windows Function

|------------Trigger窗口触发器

|------------Evictors数据剔除器

|------------延迟数据处理

|------------连续窗口计算

|------------Windows多流合并

|------作业链和资源组

|------------作业链

|------------Slots资源组

|------------Asynchronous I/O异步操作


2.5 Flink状态管理和容错

|- Flink状态管理和容错

|------有状态计算

|------Checkpoints和Savepoints

|------------Checkpoints检查点机制

|------------Savepoints机制

|------状态管理器

|------------StateBackend类别

|------------状态管理器适配

|------Querable State


2.6 DataSet API

|- DataSet API

|------DataSet API

|------------应用实例

|------------DataSources数据接入

|------------DataSet转换操作

|------------DataSlinks数据输出

|------迭代计算

|------------全量迭代

|------------增量迭代

|------广播变量

|------分布式缓存

|------语义注解

|------------Forwarded Fields注解

|------------Non-Forwarded Fields注解

|------------Read Fields注解


2.7 Table API & SQL

|- Table API & SQL

|------TableEnviroment

|------------开发环境构建

|------------TableEnvironment基本操作

|------------外部连接器

|------------时间概念

|------------Temporal Tables临时表

|------Flink Table API

|------------Table API 应用实例

|------------数据查询和过滤

|------------窗口操作

|------------聚合操作

|------------多表关联

|------------集合操作

|------------排序操作

|------------数据写入

|------Flink SQL使用

|------------Flink SQL实例

|------------执行SQL

|------------数据过滤与查询

|------------Group Windows操作

|------------数据聚合

|------------多表关联

|------------集合操作

|------------数据输出

|------自定义函数

|------------Scalar Function

|------------Table Function

|------------Agreegation Function

|------自定义数据源

|------------TableSource定义

|------------TableSlink定义

|------------TableFactory定义


2.8 Flink组件栈

|- Flink组件栈

|------Flink复杂事件处理

|------------基础概念

|------------Pattern API

|------------事件获取

|------------应用实例

|------Flink Gelly图计算应用

|------------基本概念

|------------Graph API

|------------迭代图处理

|------------图生成器

|------FlinkML机器学习

|------------基本概念

|------------有监督学习算子

|------------数据预处理

|------------推荐算法

|------------Pipelines In FlinkML


2.9 Flink部署与应用

|- Flink部署与应用

|------Flink集群部署

|------------Standalone Cluster 部署

|------------Yarn Cluster部署

|------------Kubernetes Cluster部署

|------Flink高可用配置

|------------Standalone集群高可用配置

|------------Yarn Session集群高可用配置

|------Flink安全管理

|------------认证目标

|------------认证配置

|------------SSL配置

|------Flink集群升级

|------------任务重启

|------------状态维护

|------------版本升级


2.10 Flink监控与性能优化

|- Flink监控与性能优化

|------监控指标

|------------系统监控指标

|------------监控指标注册

|------------监控指标报表

|------Backpressure监控与优化

|------------Backpressure进程抽样

|------------Backpressure页面监控

|------------Backpressure配置

|------Checkpointing监控与优化

|------------Checkpointing页面监控

|------------Checkpointing优化

|------Flink内存优化

|------------Flink内存配置

|------------Network Buffers配置

03 Flink 知识图谱

04 文末

参阅文献:《Flink原理、实战与性能优化

本文主要列出需要Flink的知识点,谢谢大家的阅读,本文完!

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
目录
相关文章
|
9月前
|
SQL 运维 API
Apache Flink 学习教程----持续更新
Apache Flink 学习教程----持续更新
360 0
|
9月前
|
流计算
JD Flink教程
JD Flink教程
60 0
|
9月前
|
Apache 流计算
Apache Flink教程
Apache Flink教程
276 0
|
6月前
|
资源调度 关系型数据库 MySQL
【Flink on YARN + CDC 3.0】神操作!看完这篇教程,你也能成为数据流处理高手!从零开始,一步步教会你在Flink on YARN模式下如何配置Debezium CDC 3.0,让你的数据库变更数据瞬间飞起来!
【8月更文挑战第15天】随着Apache Flink的普及,企业广泛采用Flink on YARN部署流处理应用,高效利用集群资源。变更数据捕获(CDC)工具在现代数据栈中至关重要,能实时捕捉数据库变化并转发给下游系统处理。本文以Flink on YARN为例,介绍如何在Debezium CDC 3.0中配置MySQL连接器,实现数据流处理。首先确保YARN上已部署Flink集群,接着安装Debezium MySQL连接器并配置Kafka Connect。最后,创建Flink任务消费变更事件并提交任务到Flink集群。通过这些步骤,可以构建出从数据库变更到实时处理的无缝数据管道。
532 2
|
存储 网络安全 对象存储
使用Flink实时发现Github最热项目之免费试用开通教程文档
使用Flink实时发现Github最热项目之免费试用开通教程文档
236 1
|
9月前
|
Apache 流计算
Apache Flink教程----2.本地开发
Apache Flink教程----2.本地开发
86 0
|
9月前
|
Shell Apache 流计算
Apache Flink教程----1.安装初体验
Apache Flink教程----1.安装初体验
90 0
|
9月前
|
SQL 分布式计算 Java
2021年最新最全Flink系列教程__Flink综合案例(九)
2021年最新最全Flink系列教程__Flink综合案例(九)
76 0
|
9月前
|
消息中间件 NoSQL 数据挖掘
2021年最新最全Flink系列教程__Flink高级特性和新特性(八)
2021年最新最全Flink系列教程__Flink高级特性和新特性(八)
56 0
|
9月前
|
消息中间件 SQL Kafka
2021年最新最全Flink系列教程__FlinkTable&SQL(六、七)
2021年最新最全Flink系列教程__FlinkTable&SQL(六、七)
94 0