《Apache Flink 案例集(2022版)》——卷首语

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 《Apache Flink 案例集(2022版)》——卷首语

image.png


流式数据处理是当今大数据领域的趋势,很多企业渴望更及时地洞察自己的数据,而曾经的“批处理”思维正迅速被流式处理所取代。越来越多的公司,无论大小,都在重新思考技术架构时把实时性作为第一考量,并开始构建自己的实时计算平台。  


伴随着实时化浪潮的发展和深化,Apache Flink 已逐步演进为流处理的领军角色和事实标准。在 2021 年 Apache 软件基金会的财年报告中,Flink 的邮件列表活跃度连续第四年排名第一,Github 项目访问流量和代码库提交次数均排名第二,在 Apache 软件基金会的开源社区中名列前茅。与此同时,截止目前已有超过 1400 名开发者对 Apache Flink 项目进行过代码级的贡献。这些开发者分别来自于全球 100 多家公司,其中不仅包含全球知名的国际化公司,还有更多来自中国本土的科技公司,中国因素在 Flink 社区发挥着越来越大的作用。  


回顾技术演进的历程,Flink一方面持续优化其流计算核心能力,不断提高整个行业的流计算处理标准,另一方面沿着批流一体的思路开始覆盖越来越多的应用场景,并逐步在生产落地。


在数据集成方面,Apache Flink 提供了 Flink CDC 组件¹ ,使用 CDC 技术从各种数据库中获取变更流并接入到 Flink 中。Flink CDC 可以替代传统的 DataX 和 Canal 工具做实时数据同步,将数据库的全量和增量数据同步到消息队列和数据仓库中。也可以做实时数据集成,将数据库数据实时入湖入仓。还可以做实时物化视图,通过 SQL 对数据库数据做实时关联、打宽、聚合,并将物化结果写入到湖仓中。  


在数据分析和数据仓库领域,Apache Flink 也扮演着重要的角色。Flink 的批流一体技术被越来越多的公司所采纳,社区也持续推出 Flink Table Store²  等新技术进一步精简流式数仓(实时离线一体化)的架构,推动数据仓库从 Lambda 架构到 Kappa 架构的演进和落地,大大降低企业建立实时化数据分析平台的人力和硬件资源成本。  


此外,Apache Flink 也广泛应用于推荐、广告和搜索等机器学习业务场景中。借助流批一体技术的演进和升级,Flink 社区推出了新一代机器学习基础框架 Flink ML 2.0 ³,能够将数据清洗、数据预处理、特征计算、样本拼接和模型训练完全串联,形成一套高效的、大数据 AI 一体化的计算流程,同时可以兼容业界成熟的深度学习算法、嵌入 Tensorflow、PyTorch 等主流的深度学习算法库,支持全链路的深度学习流程。Flink ML 最大的特点是可以兼容流式和批式的数据源,实现在线机器学习流程和离线机器学习流程一体化,令特征工程和模型训练变得更加高效。  


为了帮助读者更全面和深入地了解上述 Flink 技术如何在实际生产场景中落地,我们特地编撰了这本中文专刊。在这本专刊里你可以了解到大量来自不同领域的公司在数据集成、数据分析(BI)、人工智能(AI)、云原生以及企业数字化转型等应用场景中使用 Apache Flink 解决实际生产问题的成功案例,其中既包含传统和新兴的互联网公司,也包含通信、证券、银行等传统企业。我们由衷的感谢向我们提供这些实践案例的公司,也真诚的希望这些真实的生产实践案例和经验能够帮助大家更好的理解和使用 Apache Flink,加速更多企业的实时化平台搭建和业务转型。与此同时我们也期待接收到更多用户的反馈,并在下一年的专刊中看到您分享的宝贵案例和经验!  


1 https://ververica.github.io/flink-cdc-connectors/

2 https://github.com/apache/flink-table-store

3 https://github.com/apache/flink-ml 


相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
6月前
|
存储 人工智能 大数据
The Past, Present and Future of Apache Flink
本文整理自阿里云开源大数据负责人王峰(莫问)在 Flink Forward Asia 2024 上海站主论坛开场的分享,今年正值 Flink 开源项目诞生的第 10 周年,借此时机,王峰回顾了 Flink 在过去 10 年的发展历程以及 Flink社区当前最新的技术成果,最后展望下一个十年 Flink 路向何方。
564 33
The Past, Present and Future of Apache Flink
|
8月前
|
SQL Java API
Apache Flink 2.0-preview released
Apache Flink 社区正积极筹备 Flink 2.0 的发布,这是自 Flink 1.0 发布以来的首个重大更新。Flink 2.0 将引入多项激动人心的功能和改进,包括存算分离状态管理、物化表、批作业自适应执行等,同时也包含了一些不兼容的变更。目前提供的预览版旨在让用户提前尝试新功能并收集反馈,但不建议在生产环境中使用。
1358 13
Apache Flink 2.0-preview released
|
3月前
|
SQL 存储 人工智能
Apache Flink 2.0.0: 实时数据处理的新纪元
Apache Flink 2.0.0 正式发布!这是自 Flink 1.0 发布九年以来的首次重大更新,凝聚了社区两年的努力。此版本引入分离式状态管理、物化表、流批统一等创新功能,优化云原生环境下的资源利用与性能表现,并强化了对人工智能工作流的支持。同时,Flink 2.0 对 API 和配置进行了全面清理,移除了过时组件,为未来的发展奠定了坚实基础。感谢 165 位贡献者的辛勤付出,共同推动实时计算进入新纪元!
423 1
Apache Flink 2.0.0: 实时数据处理的新纪元
|
3月前
|
消息中间件 JSON 数据库
探索Flink动态CEP:杭州银行的实战案例
探索Flink动态CEP:杭州银行的实战案例
|
3月前
|
存储 大数据 数据处理
您有一份 Apache Flink 社区年度报告请查收~
您有一份 Apache Flink 社区年度报告请查收~
|
6月前
|
存储 SQL 人工智能
Apache Flink 2.0:Streaming into the Future
本文整理自阿里云智能高级技术专家宋辛童、资深技术专家梅源和高级技术专家李麟在 Flink Forward Asia 2024 主会场的分享。三位专家详细介绍了 Flink 2.0 的四大技术方向:Streaming、Stream-Batch Unification、Streaming Lakehouse 和 AI。主要内容包括 Flink 2.0 的存算分离云原生化、流批一体的 Materialized Table、Flink 与 Paimon 的深度集成,以及 Flink 在 AI 领域的应用。
1051 13
Apache Flink 2.0:Streaming into the Future
|
6月前
|
消息中间件 JSON 数据库
探索Flink动态CEP:杭州银行的实战案例
本文由杭州银行大数据工程师唐占峰、欧阳武林撰写,介绍Flink动态CEP的定义、应用场景、技术实现及使用方式。Flink动态CEP是基于Flink的复杂事件处理库,支持在不重启服务的情况下动态更新规则,适应快速变化的业务需求。文章详细阐述了其在反洗钱、反欺诈和实时营销等金融领域的应用,并展示了某金融机构的实际应用案例。通过动态CEP,用户可以实时调整规则,提高系统的灵活性和响应速度,降低维护成本。文中还提供了具体的代码示例和技术细节,帮助读者理解和使用Flink动态CEP。
918 2
探索Flink动态CEP:杭州银行的实战案例
|
6月前
|
数据处理 数据安全/隐私保护 流计算
Flink 三种时间窗口、窗口处理函数使用及案例
Flink 是处理无界数据流的强大工具,提供了丰富的窗口机制。本文介绍了三种时间窗口(滚动窗口、滑动窗口和会话窗口)及其使用方法,包括时间窗口的概念、窗口处理函数的使用和实际案例。通过这些机制,可以灵活地对数据流进行分析和计算,满足不同的业务需求。
525 27
|
7月前
|
监控 Cloud Native BI
8+ 典型分析场景,25+ 标杆案例,Apache Doris 和 SelectDB 精选案例集(2024版)电子版上线
飞轮科技正式推出 Apache Doris 和 SelectDB 精选案例集 ——《走向现代化的数据仓库(2024 版)》,汇聚了来自各行各业的成功案例与实践经验。该书以行业为划分标准,辅以使用场景标签,旨在为读者提供一个高度整合、全面涵盖、分类清晰且易于查阅的学习资源库。
|
SQL 大数据 Apache
Apache Flink 2021 最新入门课程 | 图谱精选课程
轻松收获 Flink 生产环境开发技能
Apache Flink 2021 最新入门课程 | 图谱精选课程

相关产品

  • 实时计算 Flink版
  • 推荐镜像

    更多